⚡오픈소스

Ollama, Jev 스타일 의사결정 모델 지원 시작

Ollama가 빠른 의사결정을 위한 새로운 API와 3개의 의사결정 모델을 출시했습니다.

↗ 원본 링크

#Ollama#의사결정모델#로컬AI#SystemOne

Ollama의 새로운 의사결정 모델

Ollama 0.35 버전부터 TypeSafe의 Jev API 기반 의사결정 모델을 지원합니다. 로컬에서 빠르고 정확한 의사결정을 내릴 수 있는 새로운 기능입니다.

주요 특징

▸

추가 비용 없음: 로컬에서 실행되어 API 비용 발생 안함

▸

낮은 지연시간: 평균 91ms의 빠른 응답 속도 (M5 Max 기준)

▸

즉시 사용 가능: 3개의 새로운 의사결정 모델 제공

사용 방법

새로운 /v1/systemone 엔드포인트를 사용하여 한 번의 요청으로 여러 질문에 대한 답변을 받을 수 있습니다.

bash

curl http://localhost:11434/v1/systemone -d '{
  "model": "nimble",
  "state": "오전 9시부터 체크아웃에서 500 에러가 발생하고 있습니다.",
  "questions": {
    "label": {
      "type": "choice",
      "instructions": "이 티켓에 어떤 라벨이 적합한가요?",
      "criteria": {"billing": null, "bug": null, "account": null}
    }
  }
}'

응답 예시:

json

{
  "model": "nimble",
  "answers": {
    "label": {
      "type": "choice",
      "choice": "bug",
      "probabilities": {"billing": 0.011, "bug": 0.979, "account": 0.010},
      "confidence": 0.892
    }
  }
}

활용 사례

▸티켓 분류 자동화

▸모델 라우팅 결정

▸콘텐츠 및 안전성 모더레이션

▸실시간 게임 플레이 결정

사용 가능한 모델

1.nimble (9B): Bespoke Labs의 오픈소스 의사결정 모델

2.tev1 (4B): Together AI의 실험적 모델

3.tev1:0.8b (0.8B): Together AI의 경량 모델

시작하기

Ollama를 다운로드하고 원하는 의사결정 모델을 실행하면 바로 사용할 수 있습니다. 네트워크 지연 없이 로컬에서 빠른 의사결정이 필요한 애플리케이션에 최적화되어 있습니다.