Ollama

지난 9월, Llama 3.2-Vision 이 공개되었다. 이미지와 텍스트를 동시에 처리할 수 있는 멀티모달 모델이고, 11B와 90B 사이즈 2가지로 제공된다. 이 모델들은 이미지 인식, 이미지에 대한 추론, 캡션 생성, 그리고 이미지에 대한 일반적인 질문에 답하는 데 최적화되어 있다고 한다.

ChatGPT 같은 대형 언어 모델들도 특정 상황에서는 추가적인 학습 데이터가 필요할 때가 있는데, 이를 해결하기 위한 방법이 few-shot 학습이다. Few-shot 학습은 적은 수의 예시만으로도 모델이 새로운 문제에 잘 적응할 수 있게 도와주는 기술이다. 이 글에서는 Python의 Langchain 라이브러리를 사용하여, few-shot 학습을 AI 채팅 모델에 적용하고, 모델의 성능을 높이는 과정을 정리해본다. 같은 질문을 했을때, few-shot 학습전과 후의 AI모델 응답을 비교했는데 의도한대로 잘 나와서 놀랐다.

LangChain을 사용해 Ollama 플랫폼내 있는 AI모델과 연동이 가능하다. python 언어를 통해 복잡한 작업을 간편하게 자동화 할 수 있도록 매뉴얼이 제공되고 있고, 이 글에서는 ChatOllama와 ChatPromptTemplate 클래스를 활용해 언어 번역 기능을 구현하는 방법을 따라하면서 과정을 기록해보려 한다.

Ollama는 AI 및 머신러닝 모델을 쉽게 관리하고 배포할 수 있도록 지원하는 플랫폼이다. 이 플랫폼은 LLM 모델 학습 및 추론 작업을 효과적으로 수행할 수 있도록 도와주며, AI 및 머신러닝 모델을 관리하고 배포하는 데 필요한 다양한 기능을 제공한다. Ollama 를 이용하면 개인용 private 생성형 AI 모델을 쉽게 설치할 수 있다.