⚡인사이트
mini-Jev: JSON 생성 없이 로짓만 읽어 4배 빠른 구조화 출력
일반 LLM에서 JSON을 생성하지 않고 다음 토큰의 로짓을 직접 읽어 구조화된 응답을 얻는 실험. 정확도는 동일하면서 4배 빠른 성능 달성
↗ 원본 링크#LLM#구조화출력#성능최적화#Qwen
무엇을 해결하나요?
일반적으로 LLM에서 구조화된 데이터를 얻으려면 JSON을 토큰 단위로 생성해야 합니다. mini-Jev는 다른 접근법을 제시합니다: JSON을 생성하지 않고, 다음 토큰의 로짓(확률 점수)을 직접 읽어 답을 추출합니다.
핵심 아이디어
기존 방식
▸JSON 스키마에 맞춰 토큰을 하나씩 생성
▸문법 제약(grammar constraint)을 적용해 유효한 JSON 생성
mini-Jev 방식
1.각 필드를 객관식 문제로 변환 (A, B, C, D...)
2.한 번의 forward pass 실행
3.답 위치에서 선택지 문자들의 로짓을 읽음
4.토큰을 생성하지 않음
실험 결과
모델: Qwen3-4B-Instruct-2507 (고정)
데이터셋: CLINC150 (의도 분류 작업)
정확도
▸JSON 생성: 90.9%
▸로짓 읽기: 90.7%
▸
차이: -0.22%p (통계적으로 유의미하지 않음)
속도 (JSON 대비)
▸
짧은 텍스트(32토큰): 4배 빠름: (0.24배 시간 소요)
▸긴 텍스트(2048토큰) + KV 캐시 재사용:
- 1개 필드: 1.4배 빠름
- 2개 필드: 1.8배 빠름
- 3개 필드: 2.4배 빠름
왜 작동하나요?
▸13,600개 질문 모두에서 다음 토큰으로 선택지 문자가 가장 높은 확률
▸선택지 문자들이 전체 확률 분포의 99.999% 이상 차지
▸제약 없이 생성하면 200개 중 199개에서 동일한 답 출력
추가 발견
선택지 이름 대신 문자(A, B, C)를 사용하는 것이 더 좋음:
▸의도 분류: +10.0%p 향상
▸도메인 분류: +13.2%p 향상
의의
이 실험은 TypeSafe의 Jev처럼 특별히 훈련된 모델이 아니어도, 일반 LLM에서 구조화 출력을 더 빠르고 효율적으로 얻을 수 있음을 보여줍니다. 특히 객관식 형태의 필드가 많은 경우 큰 성능 향상을 기대할 수 있습니다.