Ir para o conteúdo

Tradução automática

Este artigo foi traduzido automaticamente a partir da versão original em inglês.

LLMs locais no macOS: Ollama, LM Studio, llama.cpp, MLX e Apple Silicon

Enviar todos os prompts para uma API de terceiros cansa rapidamente, especialmente quando metade dos prompts são "reescreve este parágrafo" ou "qual é o esquema JSON para isto". Os LLMs locais resolveram isso para mim em Apple Silicon mais depressa do que eu esperava. Um modelo 7B em quantização de 4 bits corre confortavelmente num MacBook com 16 GB, e a latência de ida e volta fica limitada ao teclado.

Portanto, a questão em aberto é com que aplicação o usar. Ollama, LM Studio, llama.cpp, MLX e mais algumas opções assentam em motores de inferência semelhantes e nos mesmos ficheiros GGUF. A diferença está em quanta fricção existe entre si e o modelo: num extremo, fazer duplo clique e escrever; no outro, compilar a partir do código-fonte e depois ler a man page.

Conceitos-chave para LLMs locais no macOS

  1. Inferência: executar o modelo para gerar texto.
  2. Quantização (GGUF): uma técnica para reduzir o tamanho do modelo com perda mínima de qualidade. Vai ver nomes de ficheiros como llama-3-8b-Q4_K_M.gguf. A parte Q4 significa quantização de 4 bits, que usa muito menos RAM do que os pesos completos em 16 bits.
  3. Apple Silicon (Metal): os chips M-series da Apple partilham RAM entre CPU e GPU (a Apple chama-lhe "Unified Memory"). É por isso que um MacBook com 32GB ou 64GB consegue carregar modelos que num PC exigiriam uma GPU dedicada dispendiosa.

Pré-requisitos

  • Hardware: o ideal é um Mac com Apple Silicon (M1 a M4). Os Macs Intel funcionam, mas são visivelmente mais lentos.
  • RAM:
    • 8GB: suficiente para modelos pequenos (Mistral 7B, Llama 3 8B).
    • 16GB+: confortável para modelos maiores e multitarefa.
  • Espaço em disco: os modelos são grandes. Conte com cerca de 10-20GB para uma biblioteca inicial útil.

Arquitetura de LLM local

1. Ollama - A opção "simplesmente funciona"

Download: ollama.com

Pense no Ollama como o "Docker para LLMs". Envolve o motor llama.cpp num pacote nativo para macOS, obtém modelos conforme necessário e encaminha o trabalho para Metal automaticamente. Instala, executa um comando e começa a conversar. É o caminho mais simples se só quiser um LLM funcional e um endpoint HTTP para o qual apontar o seu código.

Exemplo de fluxo de trabalho

# 1. Download and run Llama 3 (it auto-downloads if needed)
ollama run llama3

# 2. Use it in your code via the local API
curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Explain quantum computing to a 5-year-old",
  "stream": false
}'

Prós e contras

✅ Prós ❌ Contras
Configuração mais simples (arrastar e largar .dmg) Aplicação principal de código fechado
CLI limpa (ollama list, ollama pull) Menos controlo granular sobre os parâmetros de geração
Grande biblioteca de modelos pré-configurados

2. LM Studio - O explorador visual

Download: lmstudio.ai

O LM Studio é a opção GUI-first. Tem um navegador ao estilo App Store para pesquisar diretamente no HuggingFace, suporta o formato MLX da Apple em conjunto com GGUF (o que pode ser mais rápido nalguns Macs) e expõe um servidor local compatível com OpenAI. Por isso, o código cliente existente que já comunica com OpenAI, em geral, funciona quase sem alterações.

Exemplo de fluxo de trabalho

Pode usar o SDK oficial de Python, ou qualquer cliente compatível com OpenAI apontado ao servidor local:

# Using the official LM Studio SDK
from lmstudio import LMStudio

client = LMStudio()
response = client.complete(
    model="llama-3-8b",
    prompt="Write a haiku about debugging."
)
print(response.content)

Prós e contras

✅ Prós ❌ Contras
Interface polida e fácil de usar GUI de código fechado
Suporte nativo para modelos GGUF e MLX Download maior (~750MB)
RAG integrado (conversar com os seus PDFs)

3. llama.cpp - A ferramenta para utilizadores avançados

Repo: github.com/ggml-org/llama.cpp

Este é o motor que quase todas as outras ferramentas usam por baixo. Se quer desempenho máximo, as funcionalidades mais recentes no próprio dia em que chegam, ou integrar um LLM na sua própria aplicação C++, esta é a fonte. É bare-metal e leve, mas o preço é gerir tudo manualmente: downloads, formatos e dezenas de flags de CLI.

Exemplo de fluxo de trabalho

# 1. Install via Homebrew
brew install llama.cpp

# 2. Download a model manually (e.g., from HuggingFace)
huggingface-cli download TheBloke/Llama-3-8B-Instruct-GGUF --local-dir .

# 3. Run inference with full control
llama-cli -m llama-3-8b-instruct.Q4_K_M.gguf \
  -p "Write a python script to sort a list" \
  -n 512 \
  --temp 0.7 \
  --ctx-size 4096

Prós e contras

✅ Prós ❌ Contras
Controlo total sobre cada parâmetro Curva de aprendizagem acentuada (apenas CLI)
Licença MIT (open source) Gestão manual de modelos
Muito leve (<30MB)

4. GPT4All - Privacidade em primeiro lugar e RAG

Download: gpt4all.io

O GPT4All foi construído em torno de duas ideias: privacidade e documentos. A funcionalidade principal, LocalDocs, permite apontar a aplicação para uma pasta com PDFs, notas ou código e conversar diretamente com esse conteúdo. Tudo corre offline, sem telemetria. É a forma mais simples de obter uma configuração RAG funcional na sua máquina sem escrever código.

Prós e contras

✅ Prós ❌ Contras
O RAG do LocalDocs funciona bem logo de origem Apenas GUI (sem modo headless)
Completamente offline e privado Uso de recursos mais pesado do que o Ollama
Multiplataforma (Mac, Windows, Linux)

5. KoboldCPP - Para quem escreve histórias

Repo: github.com/LostRuins/koboldcpp

Um fork de llama.cpp orientado para escrita criativa e RPGs ao estilo tabletop. Corre como uma aplicação web local com ferramentas para geração longa: "World Info", memória de personagens e hacks de consistência narrativa que tentam manter o modelo no rumo ao longo de milhares de tokens. O público-alvo são escritores e pessoas que correm RPGs baseados em texto; se o seu foco principal for chat ou coding, a interface vai parecer apertada.

Exemplo de fluxo de trabalho

# 1. Download the single binary
wget https://github.com/LostRuins/koboldcpp/releases/latest/download/koboldcpp-mac.zip

# 2. Run it (launches a web server)
./koboldcpp --model llama-3-8b.gguf --port 5001 --smartcontext

Prós e contras

✅ Prós ❌ Contras
Ferramentas fortes para escrita criativa UI de nicho (não é ideal para coding/chat)
Executável único (sem instalação) Licença AGPL (restritiva para uso comercial)

Menção honrosa: MLX-LM

Se é programador Python em Apple Silicon, veja MLX-LM da Apple. É um framework afinado para os chips M-series e, no hardware certo, é muitas vezes a forma mais rápida de correr um modelo localmente. O compromisso é ser menos orientado do que o Ollama: mais Python, menos proteções.

Resumo: que ferramenta é a certa para si?

Uma árvore de decisão rápida:

Árvore de decisão

Tabela comparativa rápida

Tool Interface Difficulty Best feature
Ollama CLI / Menu Bar ⭐ (Easy) "Just Works" experience
LM Studio GUI ⭐ (Easy) Model discovery & UI
GPT4All GUI ⭐ (Easy) Chat with local docs (RAG)
KoboldCPP Web UI ⭐⭐ (Medium) Creative writing tools
llama.cpp CLI ⭐⭐⭐ (Hard) Raw performance & control

O que escolher na prática

  • Comece com Ollama se só quiser ter algo a correr hoje.
  • Use LM Studio se preferir explorar modelos visualmente primeiro.
  • Desça para llama.cpp quando precisar de controlo total sobre a inferência.