💰인사이트

Cognition SWE-2: 1위와 0.9% 차이에 가격은 64% 저렴

Cognition이 Kimi K3 기반으로 만든 SWE-2가 1위 모델에 0.9포인트 뒤지면서 과제당 비용은 64% 절감

↗ 원본 링크

#SWE-2#Cognition#코딩에이전트#비용최적화

개요

Cognition이 공개한 SWE-2는 코딩 에이전트 벤치마크에서 1위와 0.9포인트 차이로 2위를 차지하면서도, 비용은 64%나 절감했습니다.

▸

SWE-2: FrontierCode 1.1 Main에서 50.0%, 과제당 $1.18

▸

Fable 5.1 Medium: (1위): 50.9%, 과제당 $3.28

핵심 특징

오픈소스 모델 위에 구축

SWE-2는 Moonshot의 Kimi K3 (2.8조 파라미터)를 베이스로 사용했습니다. 처음부터 모델을 훈련하는 대신, 공개된 가중치 위에 자체 강화학습을 추가했습니다.

▸Kimi K3: 44.2% → SWE-2: 50.0% (5.8포인트 향상)

▸DeepSWE 1.1: 68.5% → 73.0% (4.5포인트 향상)

효율성 개선

SWE-2는 이전 모델(SWE-1.7) 대비 크게 개선되었습니다:

▸평균 스텝 수: 127 → 53 (58% 감소)

▸첫 코드 편집까지: 48스텝 → 18스텝

▸비용: 81% 절감

핵심은 탐색 효율입니다. 필요한 코드만 정확히 찾아내면서 불필요한 파일 읽기와 검색을 줄였습니다.

등급별 성능

SWE-2는 3가지 등급을 제공합니다:

등급	평균 스텝	특징
Medium	53	가장 효율적
High	80	중간
Max	98	최고 비용

주의사항

최고 등급이 항상 좋은 것은 아닙니다. Fable 5.1 사례:

▸Medium: 50.9% 정확도, $3.28

▸Max: 50.3% 정확도, $12.83 (4배 비용, 0.6포인트 하락)

실무 활용 팁

1. 기본 등급 설정 확인

월 청구서를 과제 건수로 나눠보세요:

▸과제당 $12대: 등급을 내려볼 것

▸과제당 $3대: 적절한 수준

2. 비용 절감 방법

모델 등급을 올리기보다 과제 정의를 명확히 하세요:

▸과제를 작게 쪼개기

▸수정할 파일 미리 지정

▸완료 조건 명확히 정의

이 방법들이 Max 등급보다 저렴하고 효과적입니다.

3. 약점 파악

SWE-2도 만능은 아닙니다:

▸Terminal-Bench 4: 27.3% (Fable 5.1의 55.8%의 절반)

▸용도에 따라 적합한 모델 선택 필요

결론

코딩 에이전트 시장이 성숙하면서 가성비가 핵심 경쟁력이 되었습니다. SWE-2는 오픈소스 모델을 활용해 비용을 크게 낮추면서도 최상위 성능을 유지했습니다.

실무에서는:

▸무조건 최고 등급을 선택하지 말 것

▸과제 정의를 명확히 해서 탐색 비용 줄이기

▸월별 과제당 단가를 모니터링하기

이 세 가지만 실천해도 같은 성능에 비용은 크게 줄일 수 있습니다.