최근 회사에서 LLM 서비스를 기획할 일이 생겼어요. 저의 경우 사이드 프로젝트로 AI 추천 서비스를 런칭한 경험이 있어 어느정도 지식이 있었음에도, LLM 서비스를 만들고 학습시키는 방법은 쉽게 이해하기가 어렵더라고요. “튜닝 방법은 분류, 예측 AI 모델들과 똑같은건가?”“튜닝을 안 하고도 LLM 서비스를 만들 수 있을까?”“학습 방법이 여러가지네, 각기 어떤 차이가 있는거지?” 이런 고민들을 해결하기 위해 지난 7월 모두의연구소에서 진행한 개발자를 위한 LLM 교육에 참여하고 왔어요. 교육은 이틀간 현장에서 진행되었고, 파이썬 코드를 읽을 수 있다면 비개발자도 참여해볼 수 있는 난이도였습니다. 저는 저희 제품을 어떻게 만들지, 어떤 학습 방식이 가장 리소스를 아끼면서 큰 임팩트를 낼 수 있는지 ..

어떤 LLM 을 어떤 방식으로 학습시키게 되던, 사실상 모든 방법에 전략적이고 구조화된 [좋은 프롬프트] 를 써야한다. AI 서비스에 대해 말하고 있는 배민이나 토스에 들어가서 메이커 블로그를 읽어보면 프롬프트 개선만으로 AI 의 성능을 올렸다는 이야기가 많이 보인다. 오늘은 어떤 프롬프트가 좋은 프롬프트인지, Open AI 가 권장하는 방식을 정리해 보겠다 아래 방식 중 별(⭐️) 표시가 된 것들은 실제로 내가 써보고 진짜 좋았던, 강추하는 방법이다! 1. 좋은 프롬프트는 어떤 것일까? - 목적에 맞는 기능을 가지고 있고- 품질과 결과가 일정하며- 프롬프트 운영에 필요한 비용이 효율적인 것이 좋다 프롬프트의 성능을 비교하기 위해 시트를 만들어 인풋과 아웃풋, 잡아먹는 토큰을 비교해 보는 것도 좋..

LLM 을 이용한 AI 서비스를 만들어야 하는 PM 은 팀 내 DE, DS 분들과 데이터 적재, 학습, 배포까지 일련의 과정에서 소통이 필요하다. 우리 서비스가 필요한 AI 의 기능에 따라 LLM 을 학습시킬 방법도 정해야 하는데, 더 고성능의 AI 가 요구될수록 (더 학습을 많이 시킬수록) 시간, 비용과 복잡도가 올라가게 된다. 이때 LLM 제품을 만드는 PM은 최선의 결정을 내리기 위해 AI 를 학습시키는 방법론들에 대해서는 알고 있어야 한다. 가장 어려운 것 부터 살펴보도록 하겠다 Pre-training (사전학습)난이도: ⭐️⭐️⭐️⭐️⭐️많은 양의 데이터를 넣거나 대량 스크래핑을 하는 등의 행위를 통해 AI 에게 지식을 부여하는 것이다. AI 전문 회사가 할 수 있는 작업이라고 보면 되고..

GPT 를 이용한 서비스를 만들때 PM 들이 꼭 알아야 하는 기술이 있는데, 그 중 하나가 바로 RAG 다. RAG 를 쓰는 가장 주요한 목적은 GPT 가 사용자의 질문에 가장 정확한 질문을 가장 빠른 속도와 저렴한 가격으로 하게 하기 위한 기술이다. 특히, 방대한 양의 도메인 지식이 필요하거나 꼭 정확한 답을 주어야 하는 경우 많은 문서를 GPT 가 참조하여 답해야 하는데, 이 과정에서 메모리가 크게 소진되어 비용이 많이 나가게 된다. 최소한의 비용으로 가장 좋은 서비스를 만들고 싶은 PM들이 꼭 알아둬야 하는 기술인 것이다. RAG 가 뭔가요?Open AI 는 위 문서에서 RAG 를 사용하는 방법을 안내하고 있는데, 설명이 꽤나 복잡하다.RAG 가 무엇인지 쉽게 이해하기 위해 먼저 RAG 를 쓰지 ..