LLM 소수 예시의 경험적 테스트는 예시 선택이 중요하다는 것을 보여준다.
2024-04-27- 블로그와 연락처 정보가 있음 (hello@getlibretto.com, 185 Wythe Avenue, 2nd Floor, Brooklyn, NY 11249).
- 프롬프트 엔지니어링이 LLM 세계에서 어렵다고 자주 언급되지 않지만 실제로는 매우 어려운 작업임.
- Libretto는 LLM 프롬프트를 평가, 최적화, 모니터링하기 위한 도구로, 프롬프트 엔지니어링 문제를 해결하고자 함.
- 몇 가지 예시를 프롬프트에 넣는 것이 중요한지, 그리고 어떤 예시를 선택하는게 중요한지에 초점을 맞춘 내용이 포함됨.
- 몇 가지 예시(소위 "few-shot" 예시) 선택이 정확도에 상당히 중요할 수 있음을 시험을 통해 밝혀냄.
- Libretto의 새로운 Experiments 기능을 사용하여 다양한 few-shot 예시 집합을 실험한 결과, 예시에 따라 정확도가 51.8%에서 71.0%까지 달라짐을 확인함.
- 특정 few-shot 예시 세트 선정이 나쁜 성능을 초래하는 경우도 있음을 발견.
- 올바른 few-shot 예시 선택이 중요하다는 것이 확인되었으며, 컴퓨터가 예시에서 무엇을 배우고 있는지 결코 예측할 수 없다는 점을 지적함.
- Libretto는 프롬프트 엔지니어링을 간소화하여 사용자가 수동으로 여러 few-shot 예시 세트를 시도하는 번거로움을 덜어주고자 함.
- Libretto의 데모나 제품에 대한 조기 접근을 원하면 베타 신청을 하면 됨.
4getlibretto.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.