LLM이 하던 일, 누가 가져가고 있을까?
아마존은 사내 티켓 분류에서 LLM을 빼고 결정 모델을 넣었습니다. 호출 시간은 78%, 정가 기준 비용은 약 98% 줄었다고 합니다. 무엇을 바꿨고 어떻게 갈아탔는지 살펴보고, LLM이 하던 일이 어디로 옮겨 가고 있는지 짚어 봅니다.
태그
아마존은 사내 티켓 분류에서 LLM을 빼고 결정 모델을 넣었습니다. 호출 시간은 78%, 정가 기준 비용은 약 98% 줄었다고 합니다. 무엇을 바꿨고 어떻게 갈아탔는지 살펴보고, LLM이 하던 일이 어디로 옮겨 가고 있는지 짚어 봅니다.
Jev는 정해진 질문에 선택·점수·확률을 반환합니다. 검색 결과와 문서를 고르고 에이전트의 다음 행동을 정할 때, 코드가 검증하고 실행할 판단을 어떻게 분리할 수 있을지 살펴봅니다.