오랜만에 LLM 로컬환경 점검. ollama - langchain 을 연결하는 예시는, docker python 으로 실행하고 있음. 3.12 python docker 파일을 사용하고 있고, 멀티모달을 사용할 일이 아직은 없지만, 파일 접근하기가 docker 환경이 그닥 편리하진 않다. 추후 python venv 로 가상환경에서 하는게 좋을 듯 하다.
[더 읽기]tensorflow 실행시 No module named distutils 오류 해결방법
텐서플로(tensorflow) 설치후에 import 조차 되지 않는 상황이 발생했다. No module named 'distutils' 라는 오류였는데 구글링 하며 찾아보니, python 3.12 부터는 distutils 패키지가 표준 라이브러리에서 제거되었다.
Llama 3.2-Vision: 멀티모달 AI 모델 설치 및 사용 방법
지난 9월, Llama 3.2-Vision 이 공개되었다. 이미지와 텍스트를 동시에 처리할 수 있는 멀티모달 모델이고, 11B와 90B 사이즈 2가지로 제공된다. 이 모델들은 이미지 인식, 이미지에 대한 추론, 캡션 생성, 그리고 이미지에 대한 일반적인 질문에 답하는 데 최적화되어 있다고 한다.
[더 읽기]파이썬으로 ChatGPT OpenAI API 연결방법
GitHub Marketplace는 GitHub 사용자들이 다양한 도구와 애플리케이션을 쉽게 찾아보고 설치할 수 있는 플랫폼인데, 여기에 AI모델들도 사용할 수 있게 되어 있다. GitHub Marketplace 에 있는 GPT-4o-mini 모델을 사용하여 간단한 질의에 대한 결과를 받는 기능을 구현하는 방법을 정리한다.
[더 읽기]LangChain Tool Calling 기능 실험 예제
LangChain 을 이용하여 AI 모델에 툴 호출(tool calling) 기술을 적용해보고, 이를 통해 AI 답변이 어떻게 달라지는지 테스트를 진행해보기로 한다. Tool Calling 기능은 대화형 AI 모델이 외부 도구를 직접 호출하여 특정 작업을 수행할 수 있도록 하는 기능이며, AI가 단순히 대화를 나누는 것을 넘어서 도구를 호출하여 복잡한 연산 혹은 실데이터에 기반한 답변을 수행할 수 있게 해준다.
[더 읽기]AI 모델 정확도 높이기: Langchain과 Few-shot 학습으로 모델 개선하기
ChatGPT 같은 대형 언어 모델들도 특정 상황에서는 추가적인 학습 데이터가 필요할 때가 있는데, 이를 해결하기 위한 방법이 few-shot 학습이다. Few-shot 학습은 적은 수의 예시만으로도 모델이 새로운 문제에 잘 적응할 수 있게 도와주는 기술이다. 이 글에서는 Python의 Langchain 라이브러리를 사용하여, few-shot 학습을 AI 채팅 모델에 적용하고, 모델의 성능을 높이는 과정을 정리해본다. 같은 질문을 했을때, few-shot 학습전과 후의 AI모델 응답을 비교했는데 의도한대로 잘 나와서 놀랐다.
[더 읽기]LangChain 으로 Ollama LLM 모델 연동하기
개인용 Private LLM 모델 설치(LLAMA3.2-3B)
Ollama는 AI 및 머신러닝 모델을 쉽게 관리하고 배포할 수 있도록 지원하는 플랫폼이다. 이 플랫폼은 LLM 모델 학습 및 추론 작업을 효과적으로 수행할 수 있도록 도와주며, AI 및 머신러닝 모델을 관리하고 배포하는 데 필요한 다양한 기능을 제공한다. Ollama 를 이용하면 개인용 private 생성형 AI 모델을 쉽게 설치할 수 있다.
[더 읽기]