본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://fastcampus.info/4n8ztzq
(~6/20) 50일의 기적 AI 환급반💫 | 패스트캠퍼스
초간단 미션! 하루 20분 공부하고 수강료 전액 환급에 AI 스킬 장착까지!
fastcampus.co.kr
이번 프로젝트 수업은 기존의 단순 문서 기반 RAG를 한 단계 확장해, PPT 및 PDF 자료를 대상으로 Vision Captioning과 Reasoning을 결합하는 고도화된 Retrieval-Augmented Generation 시스템을 구현하는 과정을 다뤘습니다. 강의의 흐름은 체계적으로 구성되어 있었으며, 단순한 데이터 로딩에서 끝나지 않고 실제 서비스화 가능한 DeepResearch 파이프라인까지 연결되는 점이 특히 인상 깊었습니다.
먼저, PPT/PDF 파일을 마크다운 형태로 변환하는 단계에서는 pymupdf4llm 라이브러리를 활용해 각 페이지별로 텍스트를 추출하고, 이를 LangChain Document 객체로 변환했습니다. 이 과정을 통해 단순 시각 자료도 검색 가능한 벡터 데이터로 바꿀 수 있었고, 특히 페이지 단위로 쪼개는 방식 덕분에 질의응답 시 더 정밀한 매칭이 가능했습니다.
다음으로, 변환된 문서를 기반으로 벡터 데이터베이스 구축 및 검색 시스템 설정을 진행했습니다. 이를 통해 간단한 질문과 복잡한 질문 모두에 대해 빠르고 정확한 검색이 가능해졌습니다. 특히 단순 질의응답뿐 아니라, 여러 검색 결과를 종합하여 심층적인 답변을 구성하는 DeepResearch 모드를 구현한 점이 돋보였습니다.
또한 Vision 기능으로 Gemini API의 이미지 캡셔닝을 적용하여 PPT 슬라이드 내 텍스트뿐 아니라, 도표·그래프 등 시각적 요소에 대한 설명까지 자동 생성할 수 있었습니다. 이렇게 생성된 캡션은 추가적인 검색 인덱스에 포함되어, 이미지 기반 질문에 대한 RAG 응답 품질을 크게 높였습니다.
마지막으로, 수업에서는 단순히 기술 구현에 그치지 않고 서비스 관점에서의 설계와 고도화 방안도 다뤘습니다. 예를 들어, 질문 유형(간단/복잡)에 따라 검색 및 추론 전략을 다르게 가져가는 방식, DeepResearch 모드에서 여러 자료를 종합하여 근거 기반의 설명을 구성하는 방법 등이 포함되었습니다. 이를 통해 실무에 바로 적용 가능한 수준의 시스템 설계 역량을 기를 수 있었습니다.
결과적으로 이번 수업은 기존의 RAG 학습 경험을 바탕으로, 멀티모달 입력 처리 + 심화 검색·추론 구조를 결합한 차세대 AI 정보 검색 서비스 개발의 실제 흐름을 익히는 데 큰 도움이 되었습니다. 특히, 단순 텍스트 검색을 넘어 이미지·표·그래프까지 통합적으로 분석하고 응답하는 시스템을 만드는 과정은 현업에서도 매우 활용도가 높을 것이라 생각됩니다. 기술적 완성도와 실용성을 모두 갖춘 훌륭한 프로젝트였습니다.
