Llama

지난 9월, Llama 3.2-Vision 이 공개되었다. 이미지와 텍스트를 동시에 처리할 수 있는 멀티모달 모델이고, 11B와 90B 사이즈 2가지로 제공된다. 이 모델들은 이미지 인식, 이미지에 대한 추론, 캡션 생성, 그리고 이미지에 대한 일반적인 질문에 답하는 데 최적화되어 있다고 한다.

LangChain 을 이용하여 AI 모델에 툴 호출(tool calling) 기술을 적용해보고, 이를 통해 AI 답변이 어떻게 달라지는지 테스트를 진행해보기로 한다. Tool Calling 기능은 대화형 AI 모델이 외부 도구를 직접 호출하여 특정 작업을 수행할 수 있도록 하는 기능이며, AI가 단순히 대화를 나누는 것을 넘어서 도구를 호출하여 복잡한 연산 혹은 실데이터에 기반한 답변을 수행할 수 있게 해준다.

Ollama는 AI 및 머신러닝 모델을 쉽게 관리하고 배포할 수 있도록 지원하는 플랫폼이다. 이 플랫폼은 LLM 모델 학습 및 추론 작업을 효과적으로 수행할 수 있도록 도와주며, AI 및 머신러닝 모델을 관리하고 배포하는 데 필요한 다양한 기능을 제공한다. Ollama 를 이용하면 개인용 private 생성형 AI 모델을 쉽게 설치할 수 있다.