말 잘하는 AI 말고, 선택하는 AI라고요?

결정하는 AI, Jev

말 잘하는 AI 말고, 선택하는 AI라고요? 부제 결정하는 AI, Jev. 짙은 남보라 바탕 아래로 보라·분홍 빛줄기가 지나가고, 왼쪽 위에 TECH - AI Decision Model 표시가, 오른쪽에 연보라 버튼 셋 가운데 파랗게 빛나는 버튼 하나와 그 버튼을 가리키는 화살표가 놓인 표지.

이 글에서 살펴볼 세 가지

  • 검색 결과를 고르고, 문서를 분류하고, 다음 행동을 정하는 데도 AI의 판단이 쓰입니다.
  • Jev는 정해진 질문에 선택·점수·확률을 반환하고, 코드는 그 결과를 업무 규칙과 연결합니다.
  • 형식이 맞는 답도 틀릴 수 있습니다. 검증과 보류 경로를 함께 설계해야 합니다.

검색 결과 열 개 중 어떤 문단을 답변의 근거로 남길까요? 새로 들어온 파일은 회의록일까요, 제안서일까요? 에이전트는 자료를 더 찾아야 할까요, 지금 답변해도 될까요?

서비스 안에는 이런 작은 선택이 자주 등장합니다. 자연어의 의미를 읽어야 하지만, 프로그램이 당장 필요한 결과는 문서 종류나 다음 단계처럼 짧고 구체적인 값일 때가 많죠.

오늘 살펴볼 Jev는 이런 판단을 소프트웨어가 다루기 좋은 형태로 돌려주는 모델입니다. AI가 무엇을 잘 말하는지에서 한 걸음 더 들어가, 프로그램의 어느 선택에 AI를 쓸 수 있는지 살펴보겠습니다.

프로그램이 바로 사용할 수 있는 답

TypeSafe는 2026년 9월 Jev를 공개하면서 다음과 같이 설명했습니다.

“unstructured state in, typed probabilistic decisions out.”

자연스럽게 옮기면 “비정형 상태를 넣으면, 타입이 정해진 확률적 판단이 나온다”는 뜻입니다. 모델에 상황과 질문을 건네면, 문장 대신 코드가 다룰 수 있는 값과 확률을 돌려준다는 이야기죠. TypeSafe의 Jev 공개 글 (새 탭에서 열림)

일반 LLM도 구조화된 JSON을 반환하도록 설정할 수 있습니다. Jev의 특징은 문장 생성 대신 제한된 판단과 확률을 반환하는 인터페이스를 중심에 둔다는 점입니다. 여기서 System One은 이런 빠르고 범위가 좁은 판단 모델에 TypeSafe가 붙인 이름입니다.

상황과 질문, Jev의 선택·점수·확률, 코드의 규칙·권한·검증, 실행 또는 검토의 네 단계 흐름.
그림 1. Jev는 판단을 반환하고, 코드는 규칙을 확인해 실행하거나 검토로 넘깁니다.

입력과 질문의 구조 (새 탭에서 열림)

예를 들어 검색 시스템이라면 검색어와 후보 문단을 입력으로 줄 수 있습니다. 그리고 ‘이 문단은 질문과 관련이 있는가’, ‘답변에 쓸 만한 근거를 담고 있는가’를 각각 묻습니다. 코드는 그 결과를 보고 어떤 문단을 답변 생성 모델에 전달할지 정합니다. 관련 있어 보이는 것과 실제 근거가 되는 것은 다른 질문이니까요.

“새 버전의 설치 방법”을 물었는데 검색된 글이 새 버전의 출시 소식만 담고 있다면 어떨까요? 주제는 관련 있지만, 설치 순서를 답하는 근거로는 부족합니다. 검색 결과를 찾는 단계와 답변에 쓸 근거를 고르는 단계를 분리하면, 어떤 판단이 잘못됐는지도 더 구체적으로 살펴볼 수 있습니다.

TypeSafe의 공식 RAG 예제도 검색 뒤에 문단을 평가하는 단계를 두고, 근거·상충 정보·제외할 내용을 구분합니다. 이 글의 검색·문서·에이전트 예시는 공개 설계 패턴을 설명하기 위한 가상 상황이며, 특정 제품의 적용 결과가 아닙니다. 검색 문단 평가 예제 (새 탭에서 열림)

선택과 점수와 참거짓 판단

여기서는 텍스트 판단에 쓰는 Choice, Score, Noul 세 가지 형식에 집중하겠습니다. 같은 문서라도 무엇을 알고 싶은지에 따라 질문 형식이 달라집니다.

질문 형식받는 값코드에서의 활용
Choice선택한 보기·보기별 확률·confidence분류 결과에 따라 경로 선택
Score점수·단계별 확률·confidence기준표에 따라 정렬하거나 비교
Noul진술이 참일 확률 하나통과·보류 조건에 활용

표 1. 질문 형식별 반환값과 코드에서의 활용. Choice (새 탭에서 열림) · Score (새 탭에서 열림) · Noul (새 탭에서 열림)

Choice는 문서 종류를 보기에서 선택하고, Score는 검색 문단의 근거성을 기준표로 평가하며, Noul은 추출 날짜가 요청한 일정의 시작일이라는 진술의 참일 확률을 반환하는 예시.
그림 2. 문서 분류·검색 근거 평가·날짜 확인으로 살펴본 세 질문 형식. 이해를 위한 가상 예시입니다.

질문 형식 가이드 (새 탭에서 열림)

Choice는 보기의 경계부터 정합니다

Choice는 선택한 보기와 보기별 확률을 반환합니다. ‘회의록’과 ‘제안서’처럼 범주를 고를 때 쓰기 좋습니다. 다만 제목만 보고 나누기 어려운 문서도 있겠죠. 보기에 이름만 붙이기보다, 회의에서 결정한 내용을 기록한 문서인지 앞으로 할 일을 제안하는 문서인지처럼 구분 기준을 적어야 합니다.

모든 입력을 목록에 담을 수 없다면 ‘기타’를 고려할 수 있지만, 이 보기 하나가 잘못된 분류를 막아 주는 것은 아닙니다. 공식 가이드는 ‘해당 없음’이 잘 작동하지 않는 경우, 어떤 보기라도 적합한지 별도 질문으로 확인하는 방법도 설명합니다. 보기 밖 입력을 억지로 넣지 않을 경로가 필요한 셈입니다. Choice 설계 가이드 (새 탭에서 열림)

Score는 순서가 있는 기준표입니다

Score의 핵심은 숫자보다 각 단계의 설명입니다. 검색 문단을 평가한다면 ‘0: 주제와 무관’, ‘1: 배경 이해에는 도움’, ‘2: 질문에 직접 답하는 근거’처럼 순서를 정의합니다. 공식 API는 2~10단계의 기준표를 받습니다.

점수는 단계별 확률로 가중평균한 값이어서 소수가 될 수 있습니다. 계산만 보여 주는 가상 예시로, 0·1·2단계의 확률이 각각 0.2·0.5·0.3이라면 점수는 0×0.2 + 1×0.5 + 2×0.3 = 1.1입니다. 이것을 ‘정답률 110%’나 ‘관련성 55%’로 읽으면 안 됩니다. 정의한 기준표 위에서 어디에 놓였는지를 나타내죠. 같은 평균도 서로 다른 분포에서 나올 수 있어, 중요한 결정이라면 점수 하나만 보지 않는 편이 좋습니다. Score와 점수 해석 (새 탭에서 열림)

Noul은 진술이 참일 가능성을 묻습니다

Noul은 0부터 1 사이의 확률 하나를 반환합니다. 예를 들어 ‘추출한 날짜가 요청한 일정의 시작일인가?’라고 묻는 식입니다. 1에 가까우면 참, 0에 가까우면 거짓 쪽으로 판단한 것이고, 0.5 부근은 불확실하다는 뜻입니다. ‘날짜가 절반쯤 맞다’는 의미가 아닙니다. Noul 설명 (새 탭에서 열림)

문서에 날짜가 여러 개 있으면 단순한 문자열 존재 확인만으로는 충분하지 않습니다. ‘접수 마감일’을 찾았지만 필요한 값은 ‘행사 시작일’일 수 있으니까요. 문자열이 실제로 있는지와 날짜 형식이 맞는지는 코드로 확인하고, 그 날짜가 요청한 항목에 해당하는지는 문맥을 보고 판단하도록 나눌 수 있습니다.

문서 처리 전체를 Jev 하나에 맡기는 것도 아닙니다. 문서 종류를 먼저 고르고, 다른 모델이 필요한 항목을 추출한 뒤, 추출값을 원문과 대조해 재검토할지 판단하는 구성이 가능합니다. 공식 문서에도 계층형 분류와 ‘추출 후 필드별 검증’ 예제가 있습니다. 계층형 분류 (새 탭에서 열림) · 추출값 검증 (새 탭에서 열림)

여러 질문을 함께 묻고 순서는 코드가 정합니다

Jev에서는 같은 상황에 대한 여러 질문을 한 요청으로 보낼 수 있습니다. 각 질문은 같은 입력을 바탕으로 독립적으로 평가됩니다. ‘주제와 관련이 있는가’, ‘직접 근거가 있는가’, ‘다른 자료와 상충하는가’를 함께 물을 수 있죠. 질문 하나에 관련성·정확성·안전성을 모두 섞기보다, 코드가 사용할 판단을 각각 꺼내는 방식입니다. 독립 질문과 코드 조합 (새 탭에서 열림)

병렬 평가가 순차 추론을 대신하지는 않습니다. 첫 질문의 답을 읽고 두 번째 질문을 푸는 구조가 아니기 때문입니다. 문서의 대분류를 고른 다음 그 안의 하위 분류 후보를 새로 불러와야 한다면, 그 단계는 코드에서 나눠 실행해야 합니다. 반대로 처음부터 같은 입력만으로 답할 수 있는 질문들은 함께 묻고, 필요 없는 결과는 코드가 쓰지 않을 수 있습니다. 여러 질문을 함께 묻는 패턴 (새 탭에서 열림)

검색에서 답변까지 이어지는 과정을 예로 들면 역할 분담이 더 선명해집니다.

단계맡기는 일코드에서 확인할 일
검색검색 도구가 후보 문단 수집접근 가능한 자료인지, 재검색 예산이 남았는지
판단Jev가 관련성·근거성·상충 여부 평가결과를 보관·제외·재검토 중 어디로 보낼지
작성생성 모델이 선택한 자료로 답변 작성인용 원문이 있는지, 검증 단계가 끝났는지
다음 단계준비된 행동 중 후보 선택권한·조건을 확인한 뒤 실행 또는 보류

표 2. 공개 패턴을 바탕으로 구성한 가상 파이프라인입니다. Jev가 검색 도구나 답변 생성 모델을 대신한다는 뜻은 아닙니다.

에이전트가 고른 다음 행동을 실행하기 전에

에이전트에서도 선택을 분리할 수 있습니다. 가능한 도구나 스킬을 미리 준비하고, 현재 상태에 맞는 후보를 고르게 하는 방식입니다. TypeSafe는 스킬 후보를 좁힌 뒤 다시 확인하는 공개 예제를 제공합니다. 후보를 고르는 판단과 실제 실행을 구분해 볼 수 있는 사례입니다. 스킬 선택 예제 (새 탭에서 열림)

아래는 그 원리를 ‘더 검색하기’와 ‘답변하기’라는 두 선택으로 단순화한 Python 예시입니다. Jev API 호출이나 실제 응답이 아닙니다. 가상의 선택과 검증 상태를 넣었으며, 실제 검색이나 답변 전송은 실행하지 않습니다.

# 설명을 위한 가상의 모델 선택과 검사 결과
choice = "answer"
allowed_actions = {"search_more", "answer"}
search_allowed = True
citations_checked = False

if choice not in allowed_actions:
    next_action = "review"
elif choice == "answer" and not citations_checked:
    next_action = "search_more" if search_allowed else "review"
elif choice == "search_more" and not search_allowed:
    next_action = "review"
else:
    next_action = choice

print(next_action)  # search_more

모델은 ‘답변하기’를 골랐지만, 이 예시의 코드는 아직 인용·근거 검증을 마치지 않았다는 상태를 보고 ‘더 검색하기’로 바꿉니다. 검색 권한도 없다면 검토 단계로 보냅니다. citations_checked는 별도의 검증 단계가 돌려준 결과라고 가정한 값이지, 이 코드가 인용의 정확성까지 검사한다는 뜻은 아닙니다.

공식 인용 검증 예제에서도 원문에 인용문이 존재하는지는 코드로 찾고, 그 문맥이 주장을 뒷받침하는지는 별도 질문으로 확인합니다. 실제 서비스에서는 재검색 횟수와 시간 한도를 두고, 근거가 계속 부족하면 보류하도록 설계할 수 있습니다. 높은 확률이나 올바른 출력 형식만으로 검증을 생략하지 않는 것이 중요합니다. 인용 대조 예제 (새 탭에서 열림)

확률이 유용하려면 무엇이 필요할까

선택 결과 옆에 숫자가 붙어 있다고 해서 바로 믿을 수 있는 확률이 되는 것은 아닙니다. 여기서 등장하는 개념이 보정, 즉 calibration입니다.

비 올 확률을 80%라고 예보한 날들을 충분히 모았을 때, 실제로 약 80%의 날에 비가 왔다면 예보가 잘 보정됐다고 볼 수 있습니다. 판단 모델의 확률도 같은 관점에서 평가할 수 있습니다. 높은 확률을 부여한 판단이 실제로 얼마나 자주 맞았는지 확인하는 것이죠.

TypeSafe는 Jev의 학습 방식인 RLCD를 ‘보정된 결정을 위한 강화학습’으로 소개합니다. 결정과 함께 내놓은 확률이 실제 결과를 잘 반영하도록 학습하는 것이 목표입니다. 다만 이는 여러 예측을 모아 평가하는 성질이지, 확률이 높은 개별 답변의 정답을 보장하는 장치는 아닙니다. TypeSafe AI primer (새 탭에서 열림)

학습 목표를 비교하면 차이가 더 잘 보입니다. RLHF는 사람의 선호를 반영하고, RLVR은 정답이나 테스트처럼 검증 가능한 결과를 보상에 활용합니다. 두 방식은 한 모델에서 함께 쓰일 수 있습니다. Jev가 이들 모델을 통째로 대체한다는 뜻이 아니라, 소프트웨어가 사용할 판단과 확률에 학습의 초점을 둔다는 설명입니다. RLHF 연구 (새 탭에서 열림) · 검증 가능한 보상과 선호 학습의 병행 (새 탭에서 열림)

RLHF는 사람의 선호, RLVR은 검증 가능한 결과, RLCD는 판단과 확률의 보정에 초점을 둔다는 학습 목표 비교.
그림 3. 학습 목표로 살펴본 RLHF·RLVR·RLCD. RLCD는 TypeSafe가 공개한 설명을 기준으로 합니다.

공식 설명 (새 탭에서 열림)

여기서 비슷해 보이는 두 값을 구분하면 좋습니다.

값무엇을 나타내나읽을 때 주의할 점
확률각 보기나 진술에 부여한 가능성실제로 잘 보정됐는지는 여러 예측과 결과를 모아 확인
confidenceChoice·Score의 확률분포를 요약한 지표0.8을 ‘정답률 80%’로 해석하지 않기

표 3. 확률과 confidence는 같은 값이 아닙니다.

기억할 점: Noul은 별도의 confidence 없이 참일 확률 자체를 반환합니다. 확률이든 confidence든 높은 숫자 하나가 개별 판단의 정답을 보장하지는 않습니다. 확률과 confidence 설명 (새 탭에서 열림)

실제로 확인할 때는 조정에 쓰지 않은 평가 데이터를 충분히 모아야 합니다. 특정 보기나 진술에 비슷한 확률을 부여한 사례들을 확률 구간별로 묶고, 그 결과가 실제로 발생한 비율과 비교합니다. 전체 평균만 보지 않고 문서 종류, 질문, 언어처럼 실제 처리 조건별로도 확인하면 어디에서 과신하는지 살펴볼 수 있습니다. 학습 목표가 보정이라고 해서 새 업무에서도 자동으로 잘 맞는다고 가정하지 않는 것이 중요합니다.

처리 경계는 업무의 위험도를 반영해야 합니다. 잘못 분류한 문서를 다시 정리하는 일과, 잘못 고른 행동을 외부 시스템에 실행하는 일의 부담은 다릅니다. 보류, 추가 정보 수집, 사람 검토를 둘 위치도 그에 맞춰 달라집니다.

문장을 생성하지 않으면 달라지는 비용

Jev의 또 다른 특징은 답변 문장을 토큰 단위로 이어 쓰지 않는다는 점입니다. 개발사는 여러 질문의 출력을 병렬로 계산하는 방식이 지연 시간과 비용을 줄이는 데 도움이 된다고 설명합니다.

개발사가 공개한 숫자는 다음과 같습니다. 속도는 공개 당시의 측정 범위이며, 가격은 2026년 10월 27일 공식 문서 기준입니다.

항목공개 값함께 봐야 할 조건
응답 시간약 70~500ms개발사 측 환경의 결과. 네트워크·입력 길이·질문 구성에 따라 재측정 필요
입력 가격100만 토큰당 0.042달러모델 호출 요금. 데이터 준비·검토·재시도 등의 운영비는 별도
출력 가격무료다른 모델로 넘겨 처리하는 비용까지 무료라는 뜻은 아님

표 4. 성능과 가격의 범위를 구분해 읽기. 공개 성능과 측정 조건 (새 탭에서 열림) · 모델과 가격 (새 탭에서 열림)

TypeSafe는 공개 성능 글에서 미국 서부 측정 환경과, 짧은 입력을 사용한 시연이 Jev에 유리할 수 있다는 점도 밝힙니다. 시연의 빠른 반응을 전체 검색·검증·생성 과정의 응답 시간으로 옮겨 읽지 않는 것이 좋겠습니다.

이런 특성은 작은 판단을 자주 호출하는 작업에서 살펴볼 만합니다. 다만 기존 규칙이나 분류기로 충분히 해결하는 업무라면, 모델 호출을 추가하는 편이 더 낫다고 단정할 수는 없습니다.

우리 서비스에서는 어떤 선택을 분리할 수 있을까

판단 모델을 검토할 때는 모델 이름보다 맡길 질문을 먼저 좁혀 보는 편이 좋습니다.

  • 후보를 미리 정할 수 있나요? 문서 종류, 근거 후보, 허용된 다음 단계처럼 선택 범위가 분명해야 합니다.
  • 질문 하나가 한 가지 판단에 집중하나요? 관련성, 근거의 충분함, 실행 가능성을 한꺼번에 묻고 있다면 나눠 볼 수 있습니다.
  • 틀리거나 애매하면 어디로 가나요? 추가 검색, 재검증, 사람 검토 같은 경로가 필요합니다.
  • 실제 데이터로 비교할 수 있나요? 정답률·지연 시간·비용과 함께 확률의 보정 정도, 잘못 자동 처리한 비율, 검토로 보내는 비율도 함께 살펴볼 수 있습니다.
  • 코드로 이미 해결할 수 있나요? 정확한 형식 검사나 권한 확인까지 모델 판단으로 대체할 필요는 없습니다.

한국어 서비스라면 한국어 입력으로 검증해야 합니다. 공식 문서도 영어에서 정확도가 가장 좋으며, 다른 언어의 성능은 업무 데이터로 확인할 것을 안내합니다. 모델 버전을 바꿀 때도 판단과 경계값을 다시 점검하는 것이 좋습니다. 언어 지원과 버전 관리 (새 탭에서 열림)

검색 결과를 추리고, 문서를 분류하고, 에이전트의 다음 단계를 고르는 일은 겉으로는 달라 보입니다. 공통점은 의미를 읽어야 하는 선택을 작은 질문으로 떼어 낼 수 있다는 것입니다. 그 판단을 어디에 쓸지, 어떤 검증을 거칠지, 언제 멈출지는 소프트웨어에 남겨 둘 수 있고요.

여러분의 서비스에서 반복되는 선택 하나를 떠올려 보세요. AI에게 그 선택에 필요한 질문만 맡긴다면, 입력과 보기, 그리고 확인이 필요한 조건을 어떻게 정할 수 있을까요?

글쓴이정우성AI Platform Team · 연구원
산업 AI 도입·전환

우리 산업 현장에도 AI를 적용할 수 있을까요?

어디서 시작할지 고민이라면, 포인랩과 산업 AI 전환의 첫걸음을 함께 찾아보세요.