본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://fastcampus.info/4n8ztzq
(~6/20) 50일의 기적 AI 환급반💫 | 패스트캠퍼스
초간단 미션! 하루 20분 공부하고 수강료 전액 환급에 AI 스킬 장착까지!
fastcampus.co.kr
이번 강의에서는 오픈소스 LLM(대형 언어 모델) 활용법을 집중적으로 배웠습니다. 먼저 로컬에서 LLM을 실행하려면 최소 RTX 4090급 이상의 GPU와 충분한 VRAM(24GB 이상)이 필요하며, CPU보다는 GPU 성능이 훨씬 중요하다는 점이 강조되었습니다.
강의에서는 LLaMA, Mistral, Phi, Gemma, Qwen, Yi, WizardLM, MPT, Mixtral, OpenChat, Starling, Zephyr 등 다양한 오픈소스 LLM들을 소개했고, 각 모델의 특성과 라이선스 차이점도 함께 다뤘습니다. 그리고 이 모델들을 쉽게 불러오고 공유할 수 있는 플랫폼인 Hugging Face의 역할과 중요성에 대해서도 배웠습니다. Hugging Face를 이용하면 transformers 라이브러리를 통해 간단하게 모델을 다운로드하고 불러올 수 있어, 실험과 프로토타입 개발이 매우 효율적입니다.
특히 이번 강의에서 가장 인상 깊었던 점은 로컬로 모델을 직접 다운로드하여 돌리는 방식과, API를 통해 외부 호스트된 모델을 요청하는 방식의 차이를 명확히 이해할 수 있었다는 것입니다. 로컬 방식은 비용이 절감되고 개인정보 보호에 유리하며, API 방식은 설정과 유지보수가 간편하다는 장점이 있습니다.
여기에 더해 LangChain의 init_chat_model() 기능을 사용하면 이러한 복잡한 모델 초기화 과정을 훨씬 쉽게 구현할 수 있다는 점이 정말 유익했습니다. LangChain 덕분에 로컬 LLM과 API LLM을 구분하지 않고 한층 간단하게 챗봇과 같은 응용 프로그램을 개발할 수 있다는 점이 큰 강점으로 느껴졌습니다.
정리하자면, 이번 수업을 통해 오픈소스 LLM의 다양한 선택지와 로컬 실행 환경, API 방식의 차이, 그리고 LangChain을 통한 실용적인 개발 접근법까지 한눈에 배울 수 있어 매우 유익한 시간이었습니다.
특히 매번 로컬에서 어떻게 모델을 쉽게 가져오는지 매번매번 험난하고, 지겹고, 돌려보고, 이런 과정들이 많았는데 시작부터 아주 편안하게 인강으로 배운다는게 너무 감사하고 좋습니다.
