🔍에이전트
flow-1: 20분의 1 비용으로 프론티어급 트레이스 분석
에이전트 트레이스 분석 특화 모델 flow-1, GPT-6-sol 수준 성능에 23배 저렴한 비용 제공
↗ 원본 링크#flow-1#트레이스분석#강화학습#비용효율
flow-1 소개
Laminar에서 에이전트 트레이스 분석을 위한 새로운 모델 flow-1을 공개했습니다. 강화학습으로 훈련된 이 모델은 발견하기 어려운 실패를 식별하고 그 원인을 설명합니다.
주요 특징
뛰어난 비용 효율성
▸GPT-6-sol 대비 **23배 저렴**
▸1달러당 888개 트레이스 분석 가능
▸트레이스당 비용 $0.0011
프론티어급 성능
▸Detection F1 스코어: 0.835
▸GPT-6-sol 수준의 분석 품질
▸더 정확한 실패 감지 (노이즈 적음)
작동 방식
flow-1은 Signals 에이전트 내부에서 실행됩니다:
1.트레이스를 코드 저장소처럼 취급
2.각 span을 파일처럼 처리
3.grep으로 span 검색 및 상세 분석
4.문제 발견 시 구조화된 JSON 반환
벤치마크 결과
523개의 복잡한 에이전트 트레이스(코딩, 법률, 고객 지원 등)로 테스트:
▸
Precision: 0.817
▸
Recall: 0.853
▸GPT-6-sol보다 높은 Detection F1 스코어
가격
▸입력 토큰: $0.05/백만 토큰
▸캐시된 입력: $0.01/백만 토큰
▸출력 토큰: $0.30/백만 토큰
활용 사례
복잡한 에이전트 워크플로우에서:
▸전체 프로덕션 트레이스 지속적 모니터링
▸놓치기 쉬운 실패 자동 감지
▸샘플링 없이 모든 트레이스 분석 가능
더 나은 성능의 다음 체크포인트가 이미 훈련 중이며, 비용은 더욱 낮아질 예정입니다.