OpenAI API를 이용할 때 ChatCompletion.create 함수에 functions라는 인자(argument)가 있습니다. LLM에게 사용할 수 있는 함수 정보를 알려줄 때 사용합니다. 이를 이용하면 LLM이 질문에 응답하기 위해 함수 호출이 필요할 경우 함수를 호출해달라는 출력(function_call)을 내놓습니다. 실제 호출은 파이썬 프로그램에서 하고 LLM은 어떤 함수를 어떤 인자들을 사용해 호출해야 하는지 알려주는 것이죠. 사용자는 함수 호출 결과를 기존 질문과 함께 다시 LLM에 전달하고 LLM은 결과를 바탕으로 질문에 응답합니다.

예제: Wikipedia 함수

먼저, LLM이 호출할 수 있는 함수를 하나 만들어보겠습니다. 검색 문자열을 받아 Wikipedia를 검색하고 첫 번째로 검색된 페이지의 내용을 반환하는 함수입니다. 페이지 내용은 다시 LLM에 보내 LLM이 답변하는데 참고할 수 있도록 합니다. 이를 위해 파이썬 wikipedia 패키지를 설치하겠습니다.

pip install wikipedia

패키지를 설치했으면 파이썬에서 다음과 같이 사용할 수 있습니다.

import wikipedia
wikipedia.set_lang("en")
r = wikipedia.search("Large language model")
print(r)

## 출력 결과
['Large language model',
 'Language model',
 'BERT (language model)',
 'BLOOM (language model)',
 'LLaMA',
 'Prompt engineering',
 'Modeling language',
 'Generative pre-trained transformer',
 'Transformer (machine learning model)',
 'GPT-3']

한글 검색을 위해서는 언어를 한글로 바꾼 후 검색하면 됩니다.

wikipedia.set_lang("ko")
r = wikipedia.search("광안대교 정식 개통일")
print(r)

## 출력 결과
['광안대교',
 '수영강변대로',
 '남항대교',
 '인천대교',
 '해운대',
 '세토 대교',
 '만덕대로',
 '교량',
 '부산광역시',
 '남구 (부산광역시)']

위의 결과들을 보면, 검색 결과는 검색 관련 내용이 있는 Wikipedia 페이지 제목 10개입니다. 페이지의 내용은 다음과 같이 받아올 수 있습니다.

p = wikipedia.page(r[0])
print(p.content)

위의 내용을 종합해서 다음과 같은 함수를 만들었습니다. 검색 내용과 언어를 입력받으면 Wikipedia를 검색해서 가장 먼저 나오는 페이지의 내용을 반환하는 함수입니다.

def search_wikipedia(query, lang):
    wikipedia.set_lang(lang)
    r = wikipedia.search(query, results=1)
    p = wikipedia.page(r[0])
    return p.content

위 함수가 LLM에서 사용할 함수입니다.

입력: functions

함수 사용법을 LLM에게 알려줄 때는 아래와 같은 형식으로 알려줍니다.

functions = [
    {
        "name": "search_wikipedia",
        "description": "wikipedia 검색",
        "parameters": {
            "type":"object",
            "properties": {
                "query": {
                    "type": "string",
                    "description": "검색할 내용"
                },
                "lang": {
                    "type": "string",
                    "enum": ["en","ko"],
                    "description": "wikipedia 언어"
                }
            },
            "required": ["query","lang"]
        }
    }
]

여기서는 하나의 함수, 두 개의 인자를 사용했는데, 함수가 여러 개 있으면 functions 리스트에 같은형식으로 추가하면 됩니다. 함수 정의 부분을 살펴보면, name에 함수 이름이 들어가고, description 부분에 함수 설명이 들어갑니다. parameters – properties에 인자 설명이 들어가는데, 입력 자료형은 type으로 지정해주고, 설명은 description에 들어가게 됩니다. 선택 가능한 경우가 정해져 있으면 enum으로 지정해주면 됩니다. 필수 인자는 required로 지정해줍니다. 위 내용을 추가해서 OpenAI API를 호출해보겠습니다.

import os
import openai
openai.api_key = os.getenv("OPENAI_API_KEY")

messages = [{"role": "system", "content": "You are a helpful assistant."},
           {"role": "user", "content": "광안대교 정식 개통일이 언제야?"}]

response = openai.ChatCompletion.create(
    model="gpt-3.5-turbo",
    messages=messages,
    functions=functions
)

출력: function_call

광안대교 정식 개통일이 언제인지 질문했죠. 참고로, 제가 ChatGPT에게 같은 질문을 했을 때는 틀린 답을 내놓았습니다. LLM은 질문을 바탕으로 주어진 함수 호출이 필요한지 아닌지 판단합니다. 함수 호출이 필요하다면 response['choices'][0]['message'] 내에 function_call 항목이 생기고, 필요 없다면 이 항목이 생기지 않습니다. 따라서 함수를 실제로 호출할 것인지는 function_call이 존재하는지 여부로 판단할 수 있습니다. 위 코드의 실행 결과로 얻은 response는 다음과 같습니다.

# 생략
  "model": "gpt-3.5-turbo-0613",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": null,
        "function_call": {
          "name": "search_wikipedia",
          "arguments": "{\n\"query\": \"\uad11\uc548\ub300\uad50 \uac1c\ud1b5\uc77c\",\n\"lang\": \"ko\"\n}"
        }
      },
      "finish_reason": "function_call"
    }
  ],
# 생략

function_call이 존재하고, 호출할 함수의 이름과 인자 정보가 있는 것을 알 수 있습니다. 참고로, query 부분이 알아보기 어렵게 나오는데, json 인코딩 때문에 그렇습니다. \n은 개행, \"는 큰 따옴표로 감싼 문자열 안에 큰 따옴표 문자를 넣기 위한 표시죠. print 해보면 한글이 제대로 나옵니다.

print(response["choices"][0]['message']["function_call"]["arguments"])

## 아래는 출력 결과
{
    "query": "광안대교 개통일",
    "lang": "ko"
}

실제 함수 호출

이 정보를 이용해 함수를 호출하고 그 결과를 다시 LLM에게 전달해주면 됩니다. 함수 호출을 위해서는 아래 함수를 이용하겠습니다.

import json

def execute_function_call(msg):
    function_name = msg["function_call"]["name"]
    args = json.loads(msg['function_call']["arguments"])
    if function_name == "search_wikipedia":
        results = search_wikipedia(**args)
        return results

response["choices"][0]['message']["function_call"]["arguments"]에 있는 인자는 문자열로 되어 있으므로 dictionary로 바꾸기 위해 json.loads를 이용했고, 읽어들인 args를 search_wikipedia함수의 keyword arguments로 넘겼습니다.

함수 호출 결과를 LLM에 전달하기

위 함수를 실행해 얻은 결과는 LLM에 보내는 messages에 추가한 후 OpenAI API를 다시 호출합니다. 이 때 role에는 function이 들어가고, 기존에 없던 name에 호출한 함수 이름, content에 함수의 결과가 들어갑니다.

msg = response["choices"][0]["message"]
content = execute_function_call(msg)
messages.append(
    {
        "role":"function",
        "name":"search_wikipedia",
        "content":content
    }
)

response = openai.ChatCompletion.create(
    model="gpt-3.5-turbo",
    messages=messages,
    functions=functions
)
print(response["choices"][0]["message"]["content"])

## 출력 결과
광안대교의 정식 개통일은 2003년 1월 6일입니다.

이제 맞는 답을 얻었습니다. 참고로, wikipedia 페이지 중에는 길이가 긴 것들도 있으므로 페이지 내용을 전달할 때 content를 모두 전달하면 token 수 제한에 걸릴 수 있습니다. functions에 들어가는 함수 설명은 system 메시지에 들어가 token 수를 차지하므로 너무 많은 함수를 넣으면 역시 token 수 제한에 걸릴 수 있습니다. Retrieval Augmented Generation에서처럼 페이지 내용을 임베딩 벡터로 만들고 벡터 검색을 이용해 질문과 관련된 내용만 추출하면 token 수를 줄일 수 있습니다.

ChatGPT vs GPT

이해를 돕기 위해 제목에 ChatGPT라고 썼지만, 엄밀히 말하면 대화형 ChatGPT와 OpenAI API를 통해 사용하는 GPT 모델은 다른 모델입니다. 대화형 ChatGPT는 자연스러운 대화를 위해 GPT 모델을 별도로 훈련시킨 모델입니다. 특히, 이전 대화 내용을 기억하는 기능이 추가되어 있죠. API를 통해 이용하는 GPT 모델들은 대화의 맥락을 기억하는 기능이 없기 때문에 API를 이용해 대화를 이어가기 위해서는 사용자가 이전 대화의 내용을 입력으로 전달해야 합니다.

파이썬으로 API 사용하기

파이썬에서는 openai 패키지를 설치하면 OpenAI API를 쉽게 사용할 수 있습니다. 명령줄에서 다음을 실행합니다.

pip install openai

설치 후에는 openai 패키지를 import하고 API Key를 지정해줍니다. 아래 예제에서는 환경변수로 지정해놓은 API Key를 가지고 왔습니다.

import os
import openai
openai.api_key = os.getenv("OPENAI_API_KEY")

ChatCompletion

OpenAI 문서에 있는 예제를 보겠습니다. ChatCompletion.create를 이용해 LLM 모델을 사용할 수 있습니다.

response = openai.ChatCompletion.create(
    model="gpt-3.5-turbo",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Who won the world series in 2020?"},
        {"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."},
        {"role": "user", "content": "Where was it played?"}
    ]
)

위 코드에서 model에는 OpenAI에서 제공하는 LLM 모델들 중 원하는 것을 적습니다. messages는 LLM에 전달할 입력입니다. 입력값을 보면 role과 content로 이루어진 딕셔너리들의 배열임을 알 수 있습니다.

Role

role에는 “system”, “user”, “assistant” 중 하나가 오는데, “system”과 “user”는 사용자가 LLM에 요청하는 내용이고, “assistant”는 LLM의 응답입니다. 앞에서 API를 통해 사용하는 LLM은 이전 대화 내용을 기억하지 못한다고 했죠? 위 코드는 이전 대화를 기억할 수 있도록 전달하는 코드임을 알 수 있습니다. “system” 메시지는 LLM에게 대화 전체에 적용될 역할 등을 지정해주는 메시지로, 보통 대화 처음에 한 번 나오는데, 꼭 필요한 것은 아닙니다. 생략하면 “You are a helpful assistant.”라고 주는 것과 유사합니다. 이후에는 보통 “user”와 “assistant”가 번갈아 나옵니다.

위 예제에서는 model과 messages를 입력했는데, 이 두 항목은 필수로 입력해야 하고, 그 외에도 하이퍼파라미터들과 기타 여러 가지 항목들이 있습니다.

Response

결과는 다음과 같이 확인합니다. 여러분이 실행하면 결과가 약간씩 다르게 나올 수 있습니다. 아래 있는 제 실행 결과도 OpenAI 문서에 나온 결과와 단어 순서에 약간 차이가 있습니다.

print(response['choices'][0]['message']['content'])
# 실행 결과
# The World Series in 2020 was played at Globe Life Field in Arlington, Texas.

결과 확인하기가 좀 복잡하죠? response 전체를 출력해보면 다음과 같이 다른 정보들을 포함하고 있는 것을 알 수 있습니다. 사실 response는 chat completion 객체로, 세부 항목 설명은 여기에 있습니다.

{
  "id": "chatcmpl-7wi85qbDjFeDclPTjepMccfCbiWHa",
  "object": "chat.completion",
  "created": 1694227013,
  "model": "gpt-3.5-turbo-0613",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "The World Series in 2020 was played at Globe Life Field in Arlington, Texas."
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 53,
    "completion_tokens": 18,
    "total_tokens": 71
  }
}

API를 이용한 대화

LLM을 한 번만 호출한다면 위와 같이 실행하면 되고, LLM과 대화를 이어가고 싶다면 반복문 내에서 이전 대화 내용을 누적해서 다음 입력으로 전달해주면 됩니다.

대화가 길어지면 입력 토큰 수가 크게 증가하겠죠? 비용도 문제지만, 토큰 수 제한에 걸릴 수도 있습니다.

그럴 경우 이전 대화 내용을 요약해서 전달하면 됩니다. 요약하는 것 역시 LLM을 이용하죠. 현재 대화와는 별도로 API를 호출하면서 이전 대화 내용을 전달하고 요약해달라고 하면 됩니다.

이 때 이전 대화 전체를 전달하며 요약할 수도 있고, 기존 요약된 내용에 새로운 대화를 추가해서 전달하며 요약할 수도 있습니다. 이전 대화 전체를 전달하면 과거 내용을 유지할 수 있지만 토큰이 많이 필요하고, 요약된 내용에 새로운 대화를 추가해서 요약하면 토큰 수를 줄일 수 있지만, 과거 대화 내용이 여러 번 요약되며 사라질 수 있습니다.