Tratopedia
EN
Ajustes

Tamaño del texto

Tema

Alto contraste

Versión

v1.230.2

La publicación con la que se generó esta página. Es la que almacena en caché el service worker.

Presentación

Volver

LLM locales y la compra de un Mac — Informe técnico

En un Mac, la sensación de un agente depende del tamaño de la caché KV y la velocidad de prellenado, no del contexto — el diseño 26B-A4B de Gemma 4, con solo 3.8B de parámetros activos, es el punto óptimo local. Apple ha subido el precio del Mac mini dos veces desde abril.

  1. Informe técnico · registro hasta septiembre de 2026

    El verdadero cuello de botella es la caché KV y el prellenado, no el límite de contexto

    En un Mac, la sensación de un agente depende del tamaño de la caché KV y la velocidad de prellenado, no del contexto — el diseño 26B-A4B de Gemma 4, con solo 3.8B de parámetros activos, es el punto óptimo local.

    LLM locales y la compra de un Mac1 / 20

  2. En cuatro cifras

    Las cifras que sostienen el informe

    • 3.8Bparámetros activos en el modelo 26B-A4B recomendado a continuación, de 25.2B en total
    • 256Kcontexto máximo en los tres modelos mayores de Gemma 4 — 12B, 26B-A4B y 31B
    • +35%subida del precio del Mac mini de entrada en Taiwán desde abril de 2026
    • 614 GB/sancho de banda de memoria unificada del M5 Max de Apple, con 128GB

    LLM locales y la compra de un Mac2 / 20

  3. Qué pasó · precios

    Apple subió el precio del Mac mini dos veces

    PrecioAntesDespués
    Entrada, precio efectivo en EE. UU. (mayo de 2026)US$599US$799
    M4 Pro, precio inicial en EE. UU. (junio de 2026)US$1,399US$1,599
    M4 de entrada (16GB/256GB), TaiwánNT$19,900 (octubre de 2024)NT$26,900 (25 de agosto de 2026)

    Sobre los precios

    Son precios de la gama M4; un nuevo Mac mini, con M6 o M5 Pro, salió a la venta el 22 de septiembre de 2026. Conviene comprobar la cifra actual antes de comprar.

    LLM locales y la compra de un Mac3 / 20

  4. Qué pasó

    Qué ha cambiado en 2026

    Clasificado según su confirmación, de mayor a menor

    ConfirmaciónQué pasó
    ConfirmadoGemma 4 sustituye la nomenclatura de Gemma 3
    ConfirmadoApple subió el precio del Mac mini dos veces
    ConfirmadoAmbas CLI de código principales ya llegan a modelos locales
    Confirmado, solo en un tamaño de modeloUn bloqueo de flash attention afecta a un tamaño de Gemma 4, no al recomendado aquí
    Confirmado, sigue abiertoLa llamada a herramientas de Qwen 3.5 27B en Ollama sigue rota
    Reportado, no verificado de forma independienteEl M5 Max es más rápido en inferencia local, pero no está claro cuánto

    LLM locales y la compra de un Mac4 / 20

  5. Cronología · contexto

    Cuatro años de chips y modelos

    1. 2023Apple recorta el ancho de banda de memoria del M3 Pro a 150GB/s, desde los 200GB/s del M2 Pro.
    2. 2024.10Se lanzan el Mac mini M4 y el M4 Pro; la configuración de entrada en Taiwán (16GB/256GB) cuesta NT$19,900.
    3. 2025.03Google DeepMind lanza Gemma 3, en tamaños 1B/4B/12B/27B.
    4. 2026.01Ollama lanza una API nativa compatible con Anthropic (v0.14), que permite a Claude Code ejecutarse directamente contra un modelo local.
    5. 2026.03Apple anuncia el M5 Pro y el M5 Max, con un ancho de banda de memoria unificada de hasta 614GB/s.

    LLM locales y la compra de un Mac5 / 20

  6. Cronología · de abril a junio de 2026

    El año que cubre este informe

    1. 2026.04.02Google DeepMind lanza Gemma 4 en cuatro tamaños — E2B, E4B, 26B-A4B, 31B.
    2. 2026.04Usuarios de Ollama en CUDA y, por separado, en Apple Silicon informan de que el modelo 31B Dense de Gemma 4 se bloquea con Flash Attention en prompts largos.
    3. 2026.05.01Apple deja de vender la configuración más barata del Mac mini; el precio de entrada efectivo sube de 599 a 799 dólares.
    4. 2026.06.03Google añade un quinto tamaño de Gemma 4, el 12B “Unified”, sin codificador aparte para imagen ni audio.

    LLM locales y la compra de un Mac6 / 20

  7. Cronología · de junio a septiembre de 2026

    Precios al alza y nuevos Mac a la venta

    1. 2026.06.17GitHub Copilot CLI añade compatibilidad con clave propia (BYOK) para modelos locales y externos.
    2. 2026.06.25Apple sube el precio inicial del Mac mini M4 Pro de 1,399 a 1,599 dólares, y reintroduce la configuración de entrada descatalogada al nuevo precio, más alto.
    3. 2026.08.25La tienda de Apple en Taiwán lista el Mac mini desde 26,900 NT$, y sus configuraciones M4 Pro a 54,900 NT$ y 61,900 NT$.
    4. 2026.09.22Apple pone a la venta un nuevo Mac mini, con M6 o M5 Pro, y un Mac Studio con M5 Max o M5 Ultra.

    LLM locales y la compra de un Mac7 / 20

  8. El argumento

    Por qué la longitud del contexto no es la cifra que hay que vigilar

    Prellenado y caché KV, no el límite de tokens

    En cada turno

    Una herramienta CLI agéntica reenvía todo su estado de trabajo — un prompt de sistema, un esquema de herramientas y la transcripción en curso — en cada turno.

    Prellenado

    Volver a procesar ese estado, llamado prellenado, es justo lo que el ancho de banda de memoria de un Mac tiene que sostener.

    Longitud del contexto

    La longitud del contexto solo acota cuánto puede durar una sesión; no dice nada sobre cómo se siente esa sesión, turno a turno.

    LLM locales y la compra de un Mac8 / 20

  9. El argumento

    Lo que fija la sensación: el prellenado y la caché KV

    Lo que fija esa sensación es la velocidad de prellenado, y cuánta memoria ocupa la caché KV — la memoria en curso de todo lo ya procesado — junto con los propios pesos del modelo.

    • 1,024tokens: el tamaño de la ventana deslizante que acota la mayoría de las capas de atención de Gemma 4, según la especificación publicada del propio modelo.
    • ×0.5Cuantizar la caché KV de coma flotante de 16 bits a enteros de 8 bits reduce su huella de memoria exactamente a la mitad — un hecho definitorio de esos formatos, no un resultado de referencia medido.

    LLM locales y la compra de un Mac9 / 20

  10. Gemma 4 no es 1B/4B/12B/27B

    La nomenclatura que todos confunden

    Cada fila procede de las fichas de modelo de la propia Google; ninguna es un sustituto equivalente de su homólogo en Gemma 3.

    Lo que se suele decirSKU de Gemma 4ParámetrosContexto máximo
    1BE2B2.3B efectivos (5.1B con las incrustaciones)128K
    4BE4B4.5B efectivos (8B con las incrustaciones)128K
    12B12B Unified (densa)11.95B (densa, todo activo)256K
    Sin homólogo en Gemma 326B-A4B (mezcla de expertos)3.8B activos de 25.2B en total256K
    27B31B densa30.7B (densa, todo activo)256K

    LLM locales y la compra de un Mac10 / 20

  11. El argumento · nomenclatura

    Qué significan “E”, “A” y “Unified”

    E = efectivos

    Cada capa lleva su propia tabla de incrustaciones, grande pero usada solo para consultas rápidas, de modo que la cifra efectiva (2.3B, 4.5B) es mucho menor que el total con las incrustaciones (5.1B, 8B).

    A = activos

    3.8B de los 25.2B parámetros de 26B-A4B trabajan en cada token, a través de ocho de ciento veintiocho expertos más un experto compartido siempre activo.

    Unified

    El 12B conserva un tamaño de Gemma 3, pero no su diseño: no tiene un codificador aparte para imagen ni para audio, y los lleva directamente al modelo de lenguaje.

    LLM locales y la compra de un Mac11 / 20

  12. Fricciones conocidas · solo 31B Dense

    El bloqueo de flash attention

    Al menos un informe afirma que el modelo 26B-A4B recomendado aquí gestiona los mismos prompts largos sin problemas; el fallo es específico de 31B Dense.

    HardwareBloqueo reportado
    Nvidia CUDA (una RTX 3090)prompts de más de unos 3,000–4,000 tokens
    Apple Silicon (un M5 Max)prompts de más de unos 500 tokens

    La causa raíz reportada

    Gemma 4 combina alrededor de cincuenta capas de atención por ventana deslizante con diez capas de atención global, y ambas usan dimensiones de cabeza distintas (256 frente a 512) que la implementación de Flash Attention de Ollama no gestionaba originalmente.

    LLM locales y la compra de un Mac12 / 20

  13. Fricciones conocidas

    Otras dos fricciones en Ollama

    Reales, y cada una más acotada de lo que parece

    Aún sin aceleración: Gemma 4 se ejecuta sin MLX en Apple Silicon

    Un informe encontró que Gemma 4 recurre al backend más lento de llama.cpp, a unos 15 tokens por segundo en 31B Dense y unos 75 en 26B-A4B. Todavía no hay ninguna cifra acelerada por MLX con la que compararlas.

    Sigue abierto: la llamada a herramientas de Qwen 3.5 27B

    Se reportaron tres fallos a la vez. El fallo de penalización de muestreo se corrigió en la v0.17.5; el renderizador correcto de llamada a herramientas de Ollama, conectado solo al nombre de modelo “qwen3-coder,” no a “qwen3.5,” seguía abierto en el último informe.

    LLM locales y la compra de un Mac13 / 20

  14. Tres años del mismo compromiso

    Del M3 Pro al M5 Max

    Un número de chip más nuevo no implica automáticamente más ancho de banda.

    • 150GB/sM3 Pro, octubre de 2023 — un recorte del 25% frente a los 200GB/s del M2 Pro
    • 614GB/sM5 Max, marzo de 2026 — ancho de banda de memoria unificada en la configuración superior de 128GB
    • 4×más de cuatro veces el cómputo de GPU de la generación anterior, según las cifras de Apple

    Tokens por segundo: solo estimaciones

    Las pruebas de un blog de referencia, etiquetadas por él mismo como “Estimadas,” sitúan al M5 Max por delante del M5 Pro y de una RTX 4090 de referencia en varios tamaños de modelo; el propio anuncio de Apple no indica una cifra de tokens por segundo para ningún modelo.

    LLM locales y la compra de un Mac14 / 20

  15. Protocolos distintos, calendarios distintos

    Dos CLI, dos vías de acceso

    ElementoClaude CodeCopilot CLI
    Compatibilidad nativa con modelos localesSí, desde Ollama v0.14 (enero de 2026)Sí, con clave propia (BYOK), desde junio de 2026
    ProtocoloAnthropic Messages APICompatible con OpenAI / proveedores externos
    ConfiguraciónApuntar ANTHROPIC_BASE_URL a un servidor Ollama localConfigurar un modelo local o externo en el selector de modelos de la CLI

    LLM locales y la compra de un Mac15 / 20

  16. Conclusión · encaje, no un ganador

    Qué Mac, para qué

    Punto de entrada: aprender con un modelo pequeño

    Para un modelo denso de clase 8B: el Mac mini M4 de entrada de Apple (16GB/256GB, NT$26,900 en la tienda de Apple en Taiwán en agosto de 2026) es silencioso, consume poco y no necesita más que Ollama tal cual. Un nuevo Mac mini, con M6 o M5 Pro, salió a la venta el 22 de septiembre de 2026.

    El punto óptimo: el 26B-A4B de Gemma 4, con holgura

    Más memoria unificada (24GB o más) es lo que realmente compra capacidad de respuesta del agente aquí: permite que los parámetros activos del modelo y su caché KV convivan con el sistema operativo sin recurrir al swap.

    Contrapartida, en ambos casos

    Apple pone precio a la memoria y el almacenamiento a medida en su configurador, no como cifra publicada, así que conviene prever un sobrecoste sobre el nivel de entrada y no una cifra fija.

    LLM locales y la compra de un Mac16 / 20

  17. Conclusión · encaje, no un ganador

    Más allá del Mac mini: M5 Max, NVIDIA o la nube

    Máxima capacidad local: el M5 Max, si el presupuesto da para más

    Hasta 614GB/s de ancho de banda de memoria unificada, según las cifras publicadas por la propia Apple. Apple presentó el M5 Max en marzo de 2026 para el MacBook Pro, un portátil; un Mac Studio con M5 Max no salió a la venta hasta el 22 de septiembre de 2026, desde US$2,499 en Estados Unidos.

    Ni siquiera en un Mac: una máquina NVIDIA, o la nube

    La VRAM de una tarjeta NVIDIA se dedica al modelo en lugar de compartirse con el sistema operativo, y una API en la nube elimina por completo la gestión de versiones y configuración. Pero una API en la nube no es privada ni gratuita por token, como sí lo es una máquina que el comprador ya tiene.

    LLM locales y la compra de un Mac17 / 20

  18. Contrapartida: el consumo

    Consumo: una tarjeta frente a un ordenador entero

    NVIDIA pide además una fuente de alimentación de 850W para el sistema.

    ValorRTX 4090, solo la tarjeta (NVIDIA)Mac Studio básico con M5 Max, el ordenador entero en el enchufe (Apple)
    En reposo19W7W
    Máximo450W de potencia gráfica total200W

    LLM locales y la compra de un Mac18 / 20

  19. Lo que no pudo verificarse

    “La inferencia sostenida corre el riesgo de limitación térmica”

    Información sin confirmar

    Dicho del M5 Max en un chasis MacBook Pro, y no se da aquí por cierto. Una guía de resolución de problemas publicada afirma que todo chasis de portátil acaba ralentizándose con la inferencia continua, pero al buscarla el 28 sep 2026 no se encontró ninguna medición publicada de limitación térmica en un MacBook Pro con M5 Max.

    LLM locales y la compra de un Mac19 / 20

  20. En resumen

    Qué modelo ejecutar no ha cambiado; lo que cuesta, sí

    • La caché KV y el prellenado siguen importando más que la longitud del contexto.
    • El 26B-A4B de Gemma 4, con solo 3.8B de parámetros activos, es el punto óptimo local; el bloqueo de flash attention es específico de 31B Dense.
    • Apple subió dos veces el precio del Mac mini en mayo y junio de 2026, y solo pone precio a las ampliaciones de memoria a medida en su configurador.
    • Merece la pena comprobar el precio actual por cuenta propia antes de comprar. Nada de esto es un consejo de compra.

    LLM locales y la compra de un Mac20 / 20