최근 회사에서 LLM 서비스를 기획할 일이 생겼어요. 저의 경우 사이드 프로젝트로 AI 추천 서비스를 런칭한 경험이 있어 어느정도 지식이 있었음에도, LLM 서비스를 만들고 학습시키는 방법은 쉽게 이해하기가 어렵더라고요. “튜닝 방법은 분류, 예측 AI 모델들과 똑같은건가?”“튜닝을 안 하고도 LLM 서비스를 만들 수 있을까?”“학습 방법이 여러가지네, 각기 어떤 차이가 있는거지?” 이런 고민들을 해결하기 위해 지난 7월 모두의연구소에서 진행한 개발자를 위한 LLM 교육에 참여하고 왔어요. 교육은 이틀간 현장에서 진행되었고, 파이썬 코드를 읽을 수 있다면 비개발자도 참여해볼 수 있는 난이도였습니다. 저는 저희 제품을 어떻게 만들지, 어떤 학습 방식이 가장 리소스를 아끼면서 큰 임팩트를 낼 수 있는지 ..

어떤 LLM 을 어떤 방식으로 학습시키게 되던, 사실상 모든 방법에 전략적이고 구조화된 [좋은 프롬프트] 를 써야한다. AI 서비스에 대해 말하고 있는 배민이나 토스에 들어가서 메이커 블로그를 읽어보면 프롬프트 개선만으로 AI 의 성능을 올렸다는 이야기가 많이 보인다. 오늘은 어떤 프롬프트가 좋은 프롬프트인지, Open AI 가 권장하는 방식을 정리해 보겠다 아래 방식 중 별(⭐️) 표시가 된 것들은 실제로 내가 써보고 진짜 좋았던, 강추하는 방법이다! 1. 좋은 프롬프트는 어떤 것일까? - 목적에 맞는 기능을 가지고 있고- 품질과 결과가 일정하며- 프롬프트 운영에 필요한 비용이 효율적인 것이 좋다 프롬프트의 성능을 비교하기 위해 시트를 만들어 인풋과 아웃풋, 잡아먹는 토큰을 비교해 보는 것도 좋..

LLM 을 이용한 AI 서비스를 만들어야 하는 PM 은 팀 내 DE, DS 분들과 데이터 적재, 학습, 배포까지 일련의 과정에서 소통이 필요하다. 우리 서비스가 필요한 AI 의 기능에 따라 LLM 을 학습시킬 방법도 정해야 하는데, 더 고성능의 AI 가 요구될수록 (더 학습을 많이 시킬수록) 시간, 비용과 복잡도가 올라가게 된다. 이때 LLM 제품을 만드는 PM은 최선의 결정을 내리기 위해 AI 를 학습시키는 방법론들에 대해서는 알고 있어야 한다. 가장 어려운 것 부터 살펴보도록 하겠다 Pre-training (사전학습)난이도: ⭐️⭐️⭐️⭐️⭐️많은 양의 데이터를 넣거나 대량 스크래핑을 하는 등의 행위를 통해 AI 에게 지식을 부여하는 것이다. AI 전문 회사가 할 수 있는 작업이라고 보면 되고..

GPT 를 이용한 서비스를 만들때 PM 들이 꼭 알아야 하는 기술이 있는데, 그 중 하나가 바로 RAG 다. RAG 를 쓰는 가장 주요한 목적은 GPT 가 사용자의 질문에 가장 정확한 질문을 가장 빠른 속도와 저렴한 가격으로 하게 하기 위한 기술이다. 특히, 방대한 양의 도메인 지식이 필요하거나 꼭 정확한 답을 주어야 하는 경우 많은 문서를 GPT 가 참조하여 답해야 하는데, 이 과정에서 메모리가 크게 소진되어 비용이 많이 나가게 된다. 최소한의 비용으로 가장 좋은 서비스를 만들고 싶은 PM들이 꼭 알아둬야 하는 기술인 것이다. RAG 가 뭔가요?Open AI 는 위 문서에서 RAG 를 사용하는 방법을 안내하고 있는데, 설명이 꽤나 복잡하다.RAG 가 무엇인지 쉽게 이해하기 위해 먼저 RAG 를 쓰지 ..

[프.오.뜯] 은 프로덕트 오밀조밀 뜯어보기의 약어입니다. 프로덕트 하나를 잘 뜯어보면 한 기업의 흥망성쇠가 보이는 것 같아요. BM, 페르소나, 화면을 설계한 의도, 라이팅, 디자인 등 프로덕트를 만든이들은 사용자에게 어떤 메시지를 전하고 싶었을지를 여러 관점에서 분석해보는 아티클입니다. 글쓴이는 특정 회사를 비난하거나 광고할 의도가 없으며, 이는 순수 학습용 글임을 밝힙니다. * 이 글은 도그냥의 스몰 - IT 비즈니스의 세계 253~265pg 에서 영감을 얻어 작성되었습니다.     1. 우리는 집을 왜 충동구매하지 않을까?  인스타그램에서 어떤 제품에 대한 광고를 보고 홀린 듯 결제하게 된 경험이 있는가? 그렇다면, 직방이나 다방같은 온라인 사이트에서 집을 충동구매해본 경험도 있는가? 계약서를 작..

오늘은 데이터리안과 딜라이트룸(알라미) 가 함께했던 세미나 "퍼널 분석을 이용해 제품을 성장시키는 단서 찾기" 강연의 keynote 를 작성해보았다. PO 분이 해주신 강연이었는데, 퍼널을 UX 의 관점에서 / 기획의 관점에서 뜯어 분석하고 고쳐보고 실험하면서 만들어낸 insight 를 공유해주시는 내용이었음! 인터넷에서 정말 실제로 했던 가설과 실험과 결과의 날것을 이렇게 드러내주는 강연이 많지 않은데, 소중한 경험 공유해주셔서 감사할 따름이다! 필자는 지금 데이터분석 / 기획을 같이 공부하고 있는데, 이 강연을 기반으로 우리 서비스에 이런 전략, 이런 관점으로 페이지를 기획하고 배치해 실험해볼 수 있겠다는 아이디어를 얻어갈 수 있었다 1. 퍼널의 진입률을 무엇을 기준으로 잡아야 할까? - 제품을 사용..