[!NOTE] Traducción automática Este artículo se tradujo automáticamente a partir de la versión original en inglés.
Mejores herramientas locales LLM para macOS
Los herramientas locales LLM en macOS cumplen cuatro funciones distintas: ejecutar un API, explorar modelos mediante una interfaz gráfica, gestionar los parámetros de inferencia y realizar pruebas directamente en Apple Silicon. No es necesario contar con una sola herramienta para llevar a cabo todas estas tareas.
Una configuración práctica consiste en utilizar Ollama para ejecutar un API local y LM Studio para explorar modelos. Se debe optar por llama.cpp cuando se necesita un control directo sobre el GGUF runtime. Por su parte, MLX es la opción adecuada para realizar experimentos en Python orientados a Apple Silicon.
Tabla de recomendaciones
| Herramienta | Mejor en | Úsese cuando | Principal compromiso técnico |
|---|---|---|---|
| Ollama | Servidor local sencillo de modelos y ciclo de vida de modelos | Si desea obtener un endpoint local de forma rápida | Menos control de bajo nivel que llama.cpp. |
| LM Studio | Flujos de trabajo de chat con interfaz gráfica, descubrimiento de modelos y servidor local | Si deseas comparar modelos sin tener que escribir código de enlace. | La abstracción de escritorio oculta los detalles de runtime. |
| llama.cpp | GGUF inferencia, cuantización, parámetros del servidor, control Metal | Es necesario contar con control sobre el contexto, los lotes, la cuantización y el comportamiento de runtime. | Más configuraciones y más parámetros. |
| MLX | Arreglos nativos de Apple Silicon y flujos de trabajo de modelos | Deseas realizar experimentos a nivel de Python en los Macs de la serie M. | Un ecosistema serving más reducido que el de Ollama o llama.cpp. |
¿Cuál debe instalar primero?
Si estás desarrollando software, instala primero Ollama. Muchas aplicaciones saben cómo comunicarse con él, y el API local es más que suficiente para prototipos, pruebas y herramientas internas de pequeña escala. Representa el camino más corto desde “necesito un modelo local” hasta “mi aplicación puede llamar a un modelo local”.
Si va a seleccionar un modelo, instale primero LM Studio. Es una herramienta útil para explorar modelos, modificar configuraciones, comparar resultados y ejecutar un servidor local compatible con OpenAI, sin necesidad de diseñar el flujo de trabajo por sí mismo.
Instale primero llama.cpp si le interesan los detalles técnicos relacionados con la inferencia. El largo del contexto, la cuantización, las opciones de Metal, el procesamiento prompt, los tamaños de lote y el comportamiento del servidor son más fáciles de analizar cuando se trabaja directamente con el runtime.
Utilice MLX cuando esté trabajando en algo más que un modelo de chat serving. Este framework resulta ideal para experimentos con modelos nativos de Apple Silicon, procesos de conversión, fine-tuning, así como flujos de trabajo en Python donde la memoria unificada forma parte integral del diseño.
Matriz de flujos de trabajo
| Flujo de trabajo | Valor predeterminado | ¿Por qué? |
|---|---|---|
| Localizar API para una aplicación | Ollama | Ergonomía estable para los desarrolladores y amplio soporte de integración. |
| Comparación manual de modelos | LM Studio | La interfaz gráfica permite realizar comparaciones entre prompt y modelos de forma más rápida. |
| Depuración del rendimiento | llama.cpp | Puede ver y controlar los controles de runtime. |
| Modelo serving cuantizado con GGUF | llama.cpp o Ollama | Utiliza llama.cpp para el control y Ollama por comodidad. |
| Experimentos con modelos basados en Apple Silicon | MLX | Herramientas nativas para arrays framework y modelos destinadas a los Macs de la serie M. |
| Demostración para stakeholders no técnicos | LM Studio | Es sencillo mostrarlo y ajustarlo de forma interactiva. |
| Configuración de ingeniería reutilizable | Ollama más una lista de modelos fijados | Es más sencillo de programar mediante scripts que un flujo de trabajo basado exclusivamente en interfaces gráficas. |
Notas de hardware
La memoria unificada representa la verdadera limitación en los chips Apple Silicon. Un modelo que cabe en un MacBook Pro de 64 GB puede resultar inutilizable en un MacBook Air de 8 GB. La cuantización ayuda, pero la longitud del contexto puede influir de forma significativa en el consumo de memoria. Benchmark la forma real prompt en lugar del nombre del modelo por sí solo.
En el caso de herramientas locales de menor envergadura, un modelo de la categoría 7B o 8B suele resultar más útil que uno de tamaño mayor y sobrecargado. En tareas de programación, el contexto extenso y la integración con herramientas suelen ser más importantes que la clasificación bruta benchmark. En cuanto a la verificación de calidad de documentos, la calidad de la recuperación de información es, por lo general, el factor determinante a la hora de elegir un modelo local.
Qué no hacer
No conviertan la configuración local de LLM en un proyecto permanente de benchmark a menos que el objetivo sea mejorar el rendimiento. Comiencen utilizando Ollama o LM Studio para demostrar que la inferencia local es útil. Solo entonces, cuando cuenten con una razón concreta, procedan a adoptar llama.cpp o MLX.
No se deben comparar modelos únicamente en una interfaz de chat si la carga de trabajo real consiste en extracción estructurada, edición de código o síntesis de respuestas RAG. Escriba un script de evaluación sencillo con prompts representativos.
Lectura adicional
- Ejecutar LLMs localmente en macOS Aborda la configuración práctica. Variantes y formatos de archivo de código abierto LLM Explica GGUF, GPTQ, AWQ, los modelos base y los modelos de instrucciones.
- Configuración del MacBook para ingeniería de AI Abarca la configuración general del entorno de trabajo.