본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://fastcampus.info/4n8ztzq
(~6/20) 50일의 기적 AI 환급반💫 | 패스트캠퍼스
초간단 미션! 하루 20분 공부하고 수강료 전액 환급에 AI 스킬 장착까지!
fastcampus.co.kr
이번 멀티모달 RAG 시스템 실습은 단순한 텍스트 기반 질의응답을 넘어, 실제 문서 기반 AI 시스템이 어떻게 작동하는지를 종합적으로 배울 수 있는 매우 인상 깊은 경험이었습니다. 특히 HWP(한글) 문서라는 국내 실무에서 자주 접하는 포맷을 다룬다는 점에서, 이론과 현실을 연결하는 훌륭한 학습 기회였습니다.
워크플로우의 시작부터 끝까지 매우 체계적으로 구성되어 있었으며, HWP 파일을 PDF로 변환한 후, Docling을 통해 마크다운 형태로 구조화된 문서를 생성하는 과정은 기존 OCR 방식보다 훨씬 신뢰도 높은 정보를 확보할 수 있게 해주었습니다. 여기에 AI 모델(Gemini 2.5 Flash)을 활용한 이미지 캡션 생성 및 삽입은 단순한 시각 정보 보조를 넘어, 실제 질의응답의 핵심 근거로 활용될 수 있는 강력한 기능이었습니다.
또한 텍스트 청크화 및 하이브리드 검색 시스템(Qdrant)의 구현, BGE-M3와 BM25의 조합을 통한 dense/sparse 임베딩의 통합, 그리고 BGE-Reranker를 통한 리랭킹까지, 최근 RAG 기술의 흐름과 고급 기법을 모두 체득할 수 있었던 점이 좋았습니다. 단순 벡터 검색이 아닌 의미적 유사성과 키워드 기반 검색을 동시에 활용한 하이브리드 구조는 실제 현업에서 검색 품질을 높이는 데 매우 유용하게 적용될 수 있다고 느꼈습니다.
마지막으로 LangGraph 기반의 워크플로우는 각 단계를 구조적으로 나누어 문서 검색과 응답 생성을 명확히 구분하며, 프로세스를 시각적으로 추적할 수 있어 디버깅과 설명이 매우 용이했습니다. 전체적으로 멀티모달 정보(텍스트 + 이미지 + 표)를 완전히 통합한 형태의 RAG 시스템을 실제로 구현해볼 수 있었다는 점에서 큰 만족감을 느꼈고, 향후 공공 데이터 분석, 법률/의료 문서 QA, 기업 내부 정보 검색 등 다양한 분야에 즉시 적용할 수 있을 것이라는 확신도 얻게 되었습니다.
단순한 코드 실습을 넘어서, 실제 서비스 수준의 구조를 체험할 수 있었던 점에서 이번 학습은 제 커리어에 있어 매우 의미 있는 경험이었습니다.
