오랜만에 LLM 로컬환경 점검. ollama - langchain 을 연결하는 예시는, docker python 으로 실행하고 있음. 3.12 python docker 파일을 사용하고 있고, 멀티모달을 사용할 일이 아직은 없지만, 파일 접근하기가 docker 환경이 그닥 편리하진 않다. 추후 python venv 로 가상환경에서 하는게 좋을 듯 하다.
$ cd ~/github/../docker/python3/python-3.12-slim-bookworm
ollama 내 설치된 llm 을 연동하기 위해서, ollama 만 실행중이면 된다. 별도로 모델을 run 해줄 필요는 없으며, 관련 LLM 호출시 모델이 자동실행(run)된다. 다만, ollama 가 실행중이지 않은 경우 아래와 같은 메시지를 볼 수 있다.
$ ollama run gemma2:2b
Error: Head "http://127.0.0.1:11434/": EOF
그리고 ollama 실행중 모델은 ollama ps 로 확인이 가능하며, 실행중인 모델이 많은 경우 ollama stop 모델명 으로 중지하면 된다.
$ ollama ps
NAME ID SIZE PROCESSOR CONTEXT UNTIL
gemma2:2b 8ccffdd52 3.2 GB 100% GPU 4096 4 minutes from now