[AI 서비스] LLM 을 학습시키는 4가지 방법

 

LLM 을 이용한 AI 서비스를 만들어야 하는 PM 은 팀 내 DE, DS 분들과 데이터 적재, 학습, 배포까지 일련의 과정에서 소통이 필요하다. 우리 서비스가 필요한 AI 의 기능에 따라 LLM 을 학습시킬 방법도 정해야 하는데, 더 고성능의 AI 가 요구될수록 (더 학습을 많이 시킬수록) 시간, 비용과 복잡도가 올라가게 된다. 

 

이때 LLM 제품을 만드는 PM은 최선의 결정을 내리기 위해 AI 를 학습시키는 방법론들에 대해서는 알고 있어야 한다. 

 

 

가장 어려운 것 부터 살펴보도록 하겠다 

 

Pre-training (사전학습)

• 난이도: ⭐️⭐️⭐️⭐️⭐️
• 많은 양의 데이터를 넣거나 대량 스크래핑을 하는 등의 행위를 통해 AI 에게 지식을 부여하는 것이다. AI 전문 회사가 할 수 있는 작업이라고 보면 되고, 사실상 대부분 실무에서 쓰게되는 AI 는 사전학습 되어 배포된 것들을 활용하게 된다.
• 수십개의 GPU를 써서 오래 학습해야함. 돈이 많이 듬. 

 

Fine-tuning (튜닝)

• 난이도 ⭐️⭐️⭐️⭐️
• Pre-training 과정만 거친 모델은 단순 ‘document generator’ 라고 볼 수 있다. 실제로 ChatGPT, Gemini 같은 효용있는 서비스를 위해선 Fine-tuning 작업을 거쳐야한다.
• 튜닝을 위해서는 우리가 원하는 방식으로 행동/답변할 데이터셋을 모아야함. 
• Pre-training은 “지식(knowledge)”을 부여하는데 집중했다면 Fine-tuning은 “(내가 원하는 데로 작동/답변하도록)alignment”에 초점을 맞춘다. 

 

RAG 

• 난이도 ⭐️⭐️⭐️
• 데이터를 벡터 형식으로 저장하고 검색할 수 있게 변환한 뒤, 두 벡터가 얼마나 비슷한지 비교하여 비슷한 데이터를 가장 빠르게 찾을 수 있게 하는 방법을 통해 LLM 을 학습시킨다. 사실상 튜닝을 할 만큼의 데이터 양/기술력이 없다면 비개발자 수준에서 할 수 있는 가장 마지막 단계라고 볼 수 있다. 
• 중요한 것은, 모델이 데이터를 직접 학습하는게 아니라, 데이터를 탐색하여 답변을 내놓게 된다는 것이다. 이를 효과적으로 구현하기 위해 나온 프레임워크가 LangChain 으로, 많은 양의 데이터를 잘 탐색하게 하기 위해 Rag 와 함께 사용하게 된다
• Rag 에 대한 더 자세한 설명은 여기로 
  • https://datasciencefromsebi.tistory.com/#google_vignette

 

Prompt Engineering (프롬프트 엔지니어링)

• 난이도 ⭐️
• 생성형 AI 에게 지시문 입력, 지식 인풋, 파라미터 조절 등을 통해 일관성있는 답변을 받아내는 방법. 
• 가장 일반적이고도 대중적인 방법이다 
• GPTs 를 만들거나, API 를 호출해서 instruction을 입혁하는 방법으로 구현할 수 있다. 

 

 

LLM 을 이용해서 상용할 수 있는 테크회사들의 이야기를 보면 LLM을 활용하는 방향성이 크게 두가지인 듯 하다

 

1) 할루시네이션이 절대 발생하면 안되거나, 정교한 작업이 필요한 제품의 경우 사내 DS, DE 들과 협업하여 튜닝의 단계를 거치기도 하고

2) 튜닝까지 할 리소스가 없거나, 기본 AI 모델로도 성능이 충분한 제품의 경우 RAG 단계에서 AI 가 해야할 과업을 쪼개거나, Langchain, Langgraph 를 이용해 최대한 LLM 이 답변을 잘 하게 만드는 것 같다 

 

이후 더 자세한 케이스 스터디 글로 돌아오겠다!