본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://fastcampus.info/4n8ztzq
(~6/20) 50일의 기적 AI 환급반💫 | 패스트캠퍼스
초간단 미션! 하루 20분 공부하고 수강료 전액 환급에 AI 스킬 장착까지!
fastcampus.co.kr
이번 실습은 멀티모달 검색 시스템의 구성요소를 처음부터 끝까지 체험해볼 수 있는 매우 실제적인 워크플로우였다. 단순히 텍스트와 이미지를 임베딩하는 수준이 아니라, 하나의 PDF 문서에서 LangChain의 PyPDFLoader로 텍스트를 추출하고, PyMuPDF(fitz)를 통해 페이지별 이미지를 병렬로 추출한 후, 텍스트-이미지를 함께 묶어 VoyageAI의 multimodal_embed API에 넣어 통합 임베딩을 수행하였다. 특히 input_type="document", model="voyage-multimodal-3" 설정을 통해 하나의 문서 단위로 멀티모달 표현을 얻을 수 있었고, 이 결과를 다시 Qdrant 벡터DB에 저장하여 검색이 가능하도록 구성한 점이 실무에 매우 적합하게 느껴졌다.
벡터DB 구성 시 Qdrant는 메모리 기반 인스턴스로 사용되었으며, UUID를 기반으로 문서 ID를 생성하고 텍스트, 이미지 경로, 출처 등 메타데이터를 payload에 포함시켜 저장했다. 이후 사용자가 입력한 질의 이미지 또는 텍스트를 동일한 방식으로 임베딩하고, 이를 코사인 유사도를 기준으로 Qdrant에서 검색하여 가장 유사한 문서와 이미지를 반환하는 구조는, 실전에서 검색엔진이나 리포트 리트리버를 만들 때 그대로 사용할 수 있을 정도로 잘 정리되어 있었다.
시각화 단계에선 검색된 결과의 이미지 경로를 추출하고, matplotlib을 통해 출력함으로써 사용자가 쿼리에 대해 어떤 이미지가 매칭되었는지 시각적으로 확인 가능했다. 특히 query vector를 이미지로 생성하는 파트는, 비단 텍스트만이 아니라 사용자의 시각적 쿼리도 의미적으로 처리할 수 있음을 보여주는 좋은 예시였다.
실습의 흐름과 구조가 논리적으로 매끄럽고, 각 셀의 기능이 잘 분리되어 있어 따라가기도 쉬웠다. 전체적으로 Voyage의 멀티모달 API 기능과 Qdrant 기반 검색의 결합은 강력한 조합이며, 이 실습은 단순 개념 전달을 넘어 프로덕션에서 활용 가능한 수준의 end-to-end 파이프라인을 직접 구현해보는 경험을 제공했다.
전체적으로 계속되는 여러 라이브러리의 활용이 진행되는 프로젝트들마다 어떤 쓰임새에 사용할 수 있는지를 보여주는게 제일 만족스럽다
