Ollama는 AI 및 머신러닝 모델을 쉽게 관리하고 배포할 수 있도록 지원하는 플랫폼이다. 이 플랫폼은 LLM 모델 학습 및 추론 작업을 효과적으로 수행할 수 있도록 도와주며, AI 및 머신러닝 모델을 관리하고 배포하는 데 필요한 다양한 기능을 제공한다. Ollama 를 이용하면 개인용 private 생성형 AI 모델을 쉽게 설치할 수 있다.
Ollama
https://ollama.com 로 접속한다. 앱을 먼저 하나 설치해야 한다. 맥북이라 MacOS 를 선택하여 다운로드 받았다.
zip 파일로 받아지는데, 풀고 app 파일을 실행한다.
실행하면 귀여운 라마가 바로 보인다. Next 만 하다보면 설치는 금방 끝난다.
ollama 사이트에서 설치를 원하는 모델을 찾아 페이지를 보면, 실행하는 스크립트가 있다. 복사한다.
그 스크립트를 실행하면 LLM 모델을 다운받게 된다. 최초에만 다운받는 과정이 있고, 다음 실행부터는 바로 프롬프트가 실행된다.
$ ollama run llama3.2
내가 받은건 3B 모델이라 경량화된 모델이다. 모바일이나 노트북 등 엣지디바이스에 가볍게 사용할 수 있는 생성형 AI 다보니, 한글로 질의하는 건 품질이 좋지 않다. 중간중간 일본어, 중국어, 영어 등 뒤섞여 나오기도 하고, 내용도 단순 반복되서 나오는 등.. 조금 실망스러우나, 영어로 번역하여 질의하면 꽤나 성능이 좋으니 활용방법을 좀 달리 생각해야 할 듯 하다.
>>> (질의) 생성형 AI 에 대해서 장점과 단점 설명해줘
(답변)
생성형 AI(Generative AI)는 인공지능의 한 종류로, 새로운 데이터 생성을 위한 기능을 가지고 있습니다.gende르ATIVE AI는 기존 데이터를 바탕으로 새로운 데이터를 생성할 수 있습니다.
**장점**
1. **신속한 데이터 생성**: 생성형 AI는 기존 데이터를 바탕으로 새로운 데이터를 빠르게 생성할 수 있습니다.
2. **데이터 다양화**: 생성형 AI는 여러 데이터에 대한 다양한 변화를 생성할 수 있습니다, 예: 다양한 시각적 형태의 이미지를 생성하는 경우가 있습니다.
3. **인터ação 및 유용성**: 생성형 AI는 인퍼런스와 유용성을 높여주는 데 도움이 됩니다.
**단점**
1. **데이터 Qualität에 따라 성능 차이**: 생성형 AI의 성능은 기존 데이터의-quality에 따라 다르며, 데이터의 질이 낮을수록 성능도 낮아질 수 있습니다.
2. **데이터가 불완전한 경우 제대로 작동하지 않음**: generating-Ai의 성능은 미성숙한 데이터에 따라 작동할 수 없으며, 기존 데이터의-quality에 따라 다를 수 있습니다.
3. **비공식적인 사용으로 인하여 불법적일수 있음**: 생성형 AI는 비공식적으로 사용될 수 있기 때문에, 법적 문제가 될 수 있습니다.