🔧도구

llmfit - 내 PC에서 돌아갈 LLM 모델을 자동으로 찾아주는 도구

내 컴퓨터의 RAM, CPU, GPU 사양을 분석해서 실행 가능한 LLM 모델을 자동으로 찾고 최적화해주는 터미널 도구

↗ 원본 링크

#LLM#최적화#하드웨어#터미널#로컬AI

llmfit이란?

내 컴퓨터에서 어떤 LLM 모델을 실행할 수 있을지 고민해본 적 있나요? llmfit은 시스템 사양을 자동으로 분석해서 실행 가능한 모델을 찾아주는 똑똑한 터미널 도구입니다.

주요 기능

🖥️ 자동 하드웨어 분석

▸RAM, CPU, GPU 사양을 자동으로 감지

▸수백 개의 LLM 모델 중 내 PC에서 돌아갈 모델만 필터링

▸품질, 속도, 적합도, 컨텍스트 기준으로 점수 계산

🎯 스마트한 최적화

▸

동적 양자화: 메모리에 맞춰 최적의 양자화 수준 자동 선택 (Q8_0~Q2_K)

▸

실행 모드 분석: GPU 전용, CPU+GPU 혼합, CPU 전용 모드별 평가

▸

적합도 등급: Perfect, Good, Marginal, Too Tight로 구분

🚀 다양한 런타임 지원

▸Ollama, llama.cpp, MLX 통합

▸설치된 모델 자동 감지

▸한 번의 명령으로 모델 다운로드 가능

설치 방법

macOS/Linux

bash

brew install llmfit
# 또는
curl -fsSL https://llmfit.axjns.dev/install.sh | sh

Windows

bash

cargo install llmfit

사용 방법

TUI 모드 (인터랙티브)

bash

llmfit

주요 단축키

▸`f`: 적합도 필터

▸`a`: 가용성 필터

▸`s`: 정렬 기준 변경

▸`d`: 모델 다운로드

▸`p`: Plan 모드 (필요한 하드웨어 역산)

CLI 모드

bash

# Perfect 등급 모델 5개만 표시
llmfit fit --perfect -n 5

# JSON 형식으로 추천 모델 출력
llmfit recommend --json

Plan 모드

특정 모델을 실행하려면 어떤 하드웨어가 필요한지 역으로 계산해줍니다.

▸컨텍스트 길이 조정

▸양자화 수준 변경

▸목표 토큰 속도 설정

▸필요한 VRAM/RAM/CPU 자동 계산

지원 모델

▸Meta Llama

▸Mistral

▸Qwen

▸Google Gemma

▸Microsoft Phi

▸DeepSeek

▸IBM Granite

▸그 외 HuggingFace의 수백 개 모델

왜 유용한가?

로컬에서 LLM을 실행하려면 메모리와 GPU 사양을 고려해야 합니다. llmfit은 이런 복잡한 계산을 자동화해서:

✅ 시행착오 시간 절약

✅ 최적의 모델 선택

✅ 하드웨어 효율 극대화

✅ 초보자도 쉽게 로컬 LLM 시작 가능

로컬 AI 개발을 시작하는 모든 분들에게 추천하는 필수 도구입니다!