본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://fastcampus.info/4n8ztzq
(~6/20) 50일의 기적 AI 환급반💫 | 패스트캠퍼스
초간단 미션! 하루 20분 공부하고 수강료 전액 환급에 AI 스킬 장착까지!
fastcampus.co.kr
멀티모달 Retriever 강의를 듣고 나니 정말 신선한 충격을 받았다. 지금까지 검색이라고 하면 구글에서 텍스트로 검색하는 것만 생각했는데, 이미지나 음성, 영상까지 함께 검색할 수 있다는 개념 자체가 너무 흥미로웠다.
처음에는 솔직히 이게 정말 가능한 건가 싶었다. 텍스트와 이미지를 어떻게 같은 방식으로 처리한다는 거지? 하는 의문이 들었는데, Voyage AI 사례를 보니까 이해가 되기 시작했다. 같은 인코더로 텍스트와 이미지를 벡터화한다는 설명을 들었을 때는 정말 신기했다. 완전히 다른 형태의 데이터인데 어떻게 같은 공간에서 비교가 가능할까 싶어서 계속 생각해봤다.
강의에서 가장 인상 깊었던 부분은 실제 활용 예시였다. 사용자가 "이미지와 텍스트를 보니 한 것 같습니다"라는 식으로 복합적인 질문을 할 수 있다는 걸 보고, 아 이게 진짜 미래구나 싶었다. 지금 우리가 카톡이나 메신저로 대화할 때도 텍스트만 쓰는 게 아니라 사진이나 이모티콘, 영상을 섞어서 쓰잖아? 그런데 AI와 대화할 때는 왜 텍스트만 써야 한다고 생각했을까 반성하게 됐다.
Self Query Retriever 부분은 좀 어려웠다. 쿼리 생성기와 쿼리 번역기가 어떻게 작동하는지 이해하는 데 시간이 걸렸는데, 결국 사용자의 복잡한 요청을 벡터 DB가 이해할 수 있는 형태로 바꿔주는 역할이라는 걸 깨달았다. 마치 통역사 같은 역할이구나 싶었다.
개인적으로 이 기술이 정말 상용화되면 어떨까 상상해봤다. 예를 들어 온라인 쇼핑할 때 "이런 느낌의 옷"이라고 사진을 보여주면서 동시에 "하지만 색깔은 더 밝게"라고 텍스트로 설명하면, AI가 정확히 내가 원하는 상품을 찾아주는 거다. 아니면 여행 계획을 세울 때 "이런 풍경의 장소에서 이런 활동을 하고 싶어"라고 이미지와 텍스트를 함께 주면 딱 맞는 여행지를 추천해주는 것도 가능할 것 같다.
사실 강의를 듣기 전에는 AI 기술이 다 비슷비슷할 거라고 생각했는데, 멀티모달 Retrieval은 정말 차원이 다른 느낌이었다. 기존의 검색 엔진들이 얼마나 한계가 있었는지도 새삼 깨달았다. 내가 머릿속으로 생각하는 건 보통 이미지와 텍스트가 섞여있는데, 이걸 검색할 때는 텍스트로만 표현해야 했으니까 당연히 정확한 결과를 얻기 어려웠던 거구나.
한 가지 아쉬웠던 건 실제 구현 과정에 대한 설명이 좀 더 있었으면 좋았을 것 같다는 점이다. 이론적으로는 이해했지만 실제로 이런 시스템을 만들려면 어떤 기술스택이 필요하고 어떤 어려움이 있는지 궁금해졌다. 특히 서로 다른 모달리티의 데이터를 벡터화할 때 품질을 어떻게 보장하는지, 검색 속도는 얼마나 빠른지 같은 실무적인 부분도 알고 싶었다.
그래도 전체적으로는 정말 만족스러운 강의였다. AI 분야가 이렇게 빠르게 발전하고 있다는 걸 실감할 수 있었고, 앞으로 우리 일상이 어떻게 바뀔지에 대한 상상력도 키울 수 있었다.
