본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://fastcampus.info/4n8ztzq
(~6/20) 50일의 기적 AI 환급반💫 | 패스트캠퍼스
초간단 미션! 하루 20분 공부하고 수강료 전액 환급에 AI 스킬 장착까지!
fastcampus.co.kr
이번 실습에서는 키워드 기반 검색(BM25)과 벡터 기반 검색을 결합한 하이브리드 검색 시스템을 구현하며, 두 검색 방식의 장단점을 직접 비교하고 조합해보는 매우 실용적인 경험을 할 수 있었다. 초기에는 LangChain의 BM25Retriever를 이용해 한국어 문서에 대해 단순한 키워드 기반 검색을 수행했고, 그 결과에서 BM25가 정확히 키워드를 포함한 문서를 잘 찾아내는 점을 확인할 수 있었다.
이어서 특수문자 제거와 소문자 변환 등 커스텀 전처리 함수를 적용해 BM25의 검색 품질을 더욱 개선하는 과정도 흥미로웠다.
그 다음은 벡터 검색기로 넘어가 OpenAIEmbeddings를 사용해 문서들을 벡터로 임베딩하고 Chroma 또는 Qdrant와 연동하여 의미 기반 검색을 수행하였다. 이 과정에서는 단어가 정확히 일치하지 않더라도 의미상 유사한 문서를 찾아주는 장점이 부각되었고, 검색 결과의 다양성과 포괄성이 증가하는 것을 직접 체험할 수 있었다.
마지막으로 핵심이었던 EnsembleRetriever를 사용한 하이브리드 검색에서는 BM25와 벡터 검색의 결과를 가중치 기반으로 조합해 더욱 정교하고 안정적인 검색 결과를 얻을 수 있었다. 실습을 통해 weights=[0.5, 0.5]와 같이 각각의 검색기의 영향력을 조정하며 성능 차이를 비교해볼 수 있었고, 다양한 쿼리에 따라 적절한 비율을 설정하는 것이 얼마나 중요한지도 알게 되었다.
단순히 검색기를 사용하는 데 그치지 않고, 실제 서비스에서 활용할 수 있는 검색 품질 향상 전략을 실습 중심으로 학습할 수 있다는 점에서 큰 장점이 있다. 특히, LangChain을 활용해 다양한 검색기를 통합하거나 확장할 수 있는 구조를 익히게 되어 실무에 직접 응용할 수 있을 것으로 기대된다. 전반적으로 이 수업은 정보 검색 및 RAG 기반 응용을 고민하는 사람들에게 매우 추천할 만한 고급 주제라고 생각된다. 특히, 검색에 관해서 많은 생각을 할 수 있게 해준 수강 내용이였다.
