본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://fastcampus.info/4n8ztzq
(~6/20) 50일의 기적 AI 환급반💫 | 패스트캠퍼스
초간단 미션! 하루 20분 공부하고 수강료 전액 환급에 AI 스킬 장착까지!
fastcampus.co.kr
최근 LLM 기반 RAG(Retrieval-Augmented Generation)의 활용이 활발해지는 가운데, 단순 텍스트를 넘어 멀티모달 정보를 함께 다루는 시스템의 필요성을 절실히 느끼고 있었다. 이 수업은 그런 요구를 정확히 짚어낸 매우 실용적인 예제였다. 특히 arXiv 논문처럼 수식, 표, 그림, 텍스트가 복합적으로 얽힌 문서 구조를 단순한 텍스트 chunk로 나누는 것이 아니라, 각각을 독립된 구조 요소(figure, table, equation, text, section_heading)로 분리하여 처리하는 방식은 매우 인상 깊었다.
MultimodalArxivParser를 통해 논문 내 모든 구성 요소를 분리하고, 각각을 context로서 활용할 수 있게 만든 뒤, intfloat/e5-base-v2 임베딩 모델과 Chroma를 이용해 효율적인 벡터 검색이 가능하게 구성된 RAG 파이프라인은 실제 서비스에도 적용할 수 있을 정도로 정교했다. 특히 그림이나 수식에 관한 질문에도 적절한 context를 찾아내고, 그에 대해 자연스럽고 정확한 답변을 생성하는 모습을 보면서 텍스트 중심의 기존 RAG 시스템을 넘는 확장성을 체감할 수 있었다.
또한 단순히 QA 결과를 눈으로 확인하는 수준에 그치지 않고, RAGAS를 활용한 정량적 평가까지 수행해볼 수 있었다는 점이 이 강의의 또 다른 강점이었다. Faithfulness, Answer Relevance, Context Precision 등 다면적인 지표를 통해 생성된 응답의 품질을 수치로 판단할 수 있었고, 실제로 멀티모달 정보를 포함한 RAG 응답이 매우 높은 평가 점수를 받는 것을 보며 모델 구조에 대한 신뢰도도 높아졌다.
전체적으로, 이 강의는 단순한 코드 따라하기가 아니라 논문과 같은 고차원 문서를 다루는 멀티모달 RAG 시스템의 전체적인 설계, 구현, 평가까지 포괄적으로 경험할 수 있는 고급 과정이었다. 실제 연구나 서비스 기획 단계에서 매우 유용하게 참고할 수 있을 것이며, 특히 논문 분석, 법률문서 처리, 의료 보고서 QA 등과 같은 복잡한 도메인에 적용할 실전 감각을 얻기에 매우 적합한 강의였다.
