🎯오픈소스

vLLM Decision 1.0: 문장 생성 대신 확률로 판단하는 새로운 AI 모델

vLLM 팀이 공개한 Decision 1.0은 텍스트 생성 대신 선택, 조건 판단, 점수 평가를 확률로 반환하는 6개의 특화 모델입니다.

#vLLM#Semantic Router#Decision Model#확률 기반 판단

Decision 1.0이란?

vLLM Semantic Router 팀이 공개한 Decision 1.0은 기존 대형 언어 모델과 다른 접근 방식을 취합니다. 긴 문장이나 JSON을 생성하는 대신, 애플리케이션이 제시한 선택지에 대해 확률을 직접 반환합니다.

핵심 특징

세 가지 판단 유형

Decision 1.0은 다음 세 가지 형식으로 판단을 수행합니다:

유형	설명	예시
Choice (선택)	여러 후보 중 하나 선택	고객 문의를 배송/결제/기술지원 팀 중 어디로?
Noul (조건 판단)	조건 만족 여부를 확률로 반환	고객이 오늘 처리를 요청했나요?
Score (등급 평가)	순서가 있는 기준으로 평가	긴급도를 대기가능/이번주/오늘중으로 분류

실시간 후보 지정

학습된 고정 라벨만 사용하는 것이 아니라, 요청 시점에 후보와 설명을 직접 정의할 수 있습니다. 이는 비즈니스 요구사항이 자주 바뀌는 실제 서비스 환경에 적합합니다.

입력과 출력

입력

▸

상태(state): 판단할 자료 (예: 고객 문의 내용)

▸

질문(question): 이름을 붙인 판단 기준

▸

후보/기준(criteria): 선택 가능한 옵션들

출력

▸선택된 후보 ID

▸각 후보별 확률 분포

▸조건 만족 확률 또는 기대 점수

실제 활용 예시

하나의 고객 문의에서 여러 질문을 동시에 처리할 수 있습니다:

1.담당 팀 선택: 배송/결제/기술지원 중 선택

2.환불 요청 여부: 참/거짓 확률

3.상급자 보고 필요성: 참/거짓 확률

4.긴급도 평가: 낮음/중간/높음 점수

Decision Studio

Decision Studio는 브라우저에서 6개 모델을 직접 테스트할 수 있는 공간입니다. 같은 질문을 여러 사례에 적용하거나, 하나의 사례에 여러 질문을 던져 결과 확률을 실시간으로 확인할 수 있습니다.

기존 LLM과의 차이점

기존 대형 언어 모델도 판단을 문장이나 JSON으로 표현할 수 있지만, Decision 1.0의 차이는:

▸✅ **소프트웨어가 선택 가능한 결과를 직접 지정**

▸✅ **확률 분포로 불확실성 표현**

▸✅ **후속 규칙과 쉽게 연결**

▸✅ **판단 전용 경량 모델**

주의사항

⚠️ 모델이 반환하는 확률을 자동 실행 명령으로 직접 해석해서는 안 됩니다. 실행 임계값은 애플리케이션에서 별도로 정의해야 합니다.