llmfit - Otimize modelos de IA para seu hardware
llmfit: Otimize modelos de IA para seu hardware
Ferramenta de linha de comando que detecta automaticamente o hardware do seu sistema (RAM, CPU, GPU) e avalia centenas de modelos de IA para identificar quais rodarão bem em sua máquina. É 100% gratuita e open-source.
A ferramenta escaneia sua RAM, CPU e GPU, depois pontua cada modelo em seu catálogo quanto a ajuste, velocidade e qualidade. Detecta corretamente arquiteturas Mixture of Experts (MoE), que a maioria das ferramentas trata como densas.
Principais características:
- Detecta MoE corretamente (arquitetura especializada para cada tarefa)
- Recomenda a melhor quantização para seu hardware exato
- Cobre centenas de modelos de vários provedores
- Interface TUI interativa ou CLI para automação
- Suporta múltiplas GPUs, quantização dinâmica e estimativa de performance
- Integração com Ollama, llama.cpp, MLX e outros runtimes locais
Documentação e instalação
Disponível para Windows (Scoop), macOS/Linux (Homebrew) e Docker. A ferramenta oferece uma interface interativa completa e API REST para integração.
Artigo sobre uso prático
Guia em português sobre como usar o llmfit para escolher o melhor LLM local, com fluxo típico de teste e avaliação antes de colocar em produção.
Vídeo introdutório
Demonstração visual de instalação e uso do llmfit, mostrando como a ferramenta detecta hardware e ranqueia modelos em tempo real.