GitHub Marketplace는 GitHub 사용자들이 다양한 도구와 애플리케이션을 쉽게 찾아보고 설치할 수 있는 플랫폼인데, 여기에 AI모델들도 사용할 수 있게 되어 있다. GitHub Marketplace 에 있는 GPT-4o-mini 모델을 사용하여 간단한 질의에 대한 결과를 받는 기능을 구현하는 방법을 정리한다.
환경 설정
여기서는 python 으로 api 연동을 진행할 것이고, 연동에 필요한 openai 라이브러리를 설치해야 한다. 아래 명령어로 설치한다.
pip install openai
그리고 api를 사용하려면 github 토큰이 하나 필요한데, 아무런 권한을 주지 않아도 사용할 수 있으니 후딱 하나 만든다. github 토큰 만드는 방법을 잘 모르면, 여기를 클릭한다.
만들어진 토큰을 아래처럼 OpenAI의 API 키를 환경 변수로 설정해놓는다. 이제 기본설정은 끝이다.
export OPENAI_TOKEN='ghp_nq948IedTPjeONcXg******'
간단한 챗 기능
OpenAI 함수에 base_url을 Azure의 서비스 URL로 설정하고 아까 설정했던 토큰을 읽어와 넣어준다.
import os
from openai import OpenAI
token = os.environ["OPENAI_TOKEN"]
endpoint = "https://models.inference.ai.azure.com"
model_name = "gpt-4o-mini"
client = OpenAI(
base_url=endpoint,
api_key=token
)
이제 물어보기만 하면 된다. 두 가지 역할을 가진 메시지를 정의하는데, system 역할은 모델의 행동을, user 역할은 사용자의 질문을 설정한다. temperature 는 응답의 다양성을 조정하는 파라미터로, 0에 가까울수록 예측이 일관되지만 다양성이 낮아진다. max_tokens 은 생성할 응답의 최대 길이를 설정한다.
response = client.chat.completions.create(
messages=[
{
"role": "system",
"content": "You are a helpful assistant.",
},
{
"role": "user",
"content": "한국의 수도는 어디야?",
}
],
temperature=1.0,
top_p=1.0,
max_tokens=1000,
model=model_name
)
수행결과는? 역시 정확한 결과를 출력한다. 이 모든 내용은 github 메뉴얼에 있는 내용이므로 쉽게 따라할 수 있다. chatgpt 모델의 api 는 원래 유료로 제공되고 있기 때문에 배우기가 쉽지 않다. 이렇게 github에서 무료로 제공하고 있으니 체험해보면 좋을거 같고, 사용량의 제한이 있으니 참고하시길 바란다.
print(response.choices[0].message.content)
한국의 수도는 서울입니다.