⚡도구

Ollama, 빠른 의사결정 모델 지원 시작

Ollama가 로컬에서 실시간 의사결정을 내릴 수 있는 새로운 decision model을 지원합니다

↗ 원본 링크

#Ollama#의사결정모델#로컬AI#SystemOne

Ollama의 새로운 의사결정 모델

Ollama 0.35 버전부터 빠른 의사결정을 위한 decision model을 지원합니다. 이 기능은 TypeSafe의 Jev API를 기반으로 하며, 추가 비용 없이 로컬에서 빠르게 실행됩니다.

주요 특징

▸

추가 비용 없음: 로컬에서 실행되어 API 비용 불필요

▸

낮은 지연시간: M5 Max에서 평균 91ms의 응답 속도

▸

실시간 의사결정: 티켓 분류, 모델 라우팅, 콘텐츠 모더레이션 등에 활용

사용 방법

새로운 /v1/systemone 엔드포인트를 사용합니다:

bash

curl http://localhost:11434/v1/systemone -d '{
  "model": "nimble",
  "state": "체크아웃에서 오전 9시부터 500 에러가 발생했습니다.",
  "questions": {
    "label": {
      "type": "choice",
      "instructions": "이 티켓에 어떤 라벨이 적합한가요?",
      "criteria": {"billing": null, "bug": null, "account": null}
    }
  }
}'

응답 예시:

json

{
  "answers": {
    "label": {
      "type": "choice",
      "choice": "bug",
      "probabilities": {"billing": 0.011, "bug": 0.979, "account": 0.010},
      "confidence": 0.892
    }
  }
}

사용 가능한 모델

▸

nimble: Bespoke Labs의 9B 파라미터 오픈소스 모델

▸

tev1: Together AI의 실험적 4B 모델

▸

tev1:0.8b: Together AI의 실험적 0.8B 모델

활용 사례

▸고객 지원 티켓 자동 분류

▸실시간 콘텐츠 모더레이션

▸게임 AI (팩맨 예제처럼 실시간 의사결정)

▸요청 라우팅 및 우선순위 판단

빠른 의사결정이 필요한 애플리케이션에 최적화된 기능입니다.