Requisitos de hardware para un LLM local: guía de CPU, RAM y GPU

Lo que de verdad hace falta para ejecutar un LLM en tu propio hardware, desde un modelo de 3B en la CPU de un portátil hasta un modelo de 70B en una estación de trabajo. Las cifras de abajo son las que deciden si tu configuración es rápida, lenta o se queda sin memoria.

11 min de lectura8 secciones9 de noviembre de 2026

Kostadin Stamboliev

Fundador e Imaginator

LinkedIn

Fundador e Imaginator de Pineido. Trabaja en consultoría de TI, desarrollo de apps y sitios web, SEO técnico, IA y automatización. Entrega código en producción en sprints de 30 días con alcance fijo y responsables claros.

El único número que lo decide todo: la memoria

Antes de comparar GPU, entiende el cuello de botella. Generar cada token significa transmitir todo el conjunto de pesos activos del modelo a través del procesador, así que la velocidad de un LLM local está gobernada por el ancho de banda y la capacidad de memoria, no por la potencia bruta de cálculo. La capacidad decide si el modelo llega siquiera a cargarse; el ancho de banda decide a qué velocidad corre una vez cargado. Si un modelo no cabe en memoria, ninguna cantidad de potencia de GPU sirve de nada.

Por eso la regla práctica de dimensionamiento se construye en torno a la memoria. A precisión completa FP16 un modelo necesita unos 2 GB por cada mil millones de parámetros, así que un modelo de 7B son aproximadamente 14 GB y uno de 70B aproximadamente 140 GB. Casi nadie ejecuta modelos locales a FP16. La cuantización comprime los pesos, y al popular nivel Q4_K_M la huella baja a unos 0,5 a 0,7 GB por cada mil millones de parámetros: unos 4 a 5 GB para un modelo de 7B y alrededor de 40 GB para uno de 70B. Suma la caché KV (la memoria activa de tu conversación), que crece con la longitud del contexto, más algo de sobrecarga de tiempo de ejecución, y tienes tu requisito real.

El segundo factor, el ancho de banda, explica por qué una GPU de 300 dólares puede ser más rápida que una CPU de 2.000 dólares con el mismo modelo. Una RTX 4090 mueve aproximadamente 1.000 GB/s, un Apple M4 Max alrededor de 546 GB/s, y la RAM de sistema típica DDR5 de doble canal anda cerca de 70 a 90 GB/s. Esa diferencia es la mayor parte de la razón por la que la inferencia en GPU parece instantánea y la inferencia en CPU parece de conexión telefónica.

Cuantización: cómo encoger un modelo sin romperlo

La cuantización almacena cada peso usando menos bits. FP16 usa 16 bits por peso, Q8 usa unos 8, y Q4 usa unos 4. El ajuste más recomendado en toda la comunidad de LLM local es Q4_K_M, una variante de 4 bits que, con sus metadatos de bloque, queda más cerca de 4,8 bits efectivos por peso. Conserva aproximadamente el 95 por ciento de la calidad de precisión completa mientras recorta la memoria casi 4 veces, por eso es el valor predeterminado con el que casi todo el mundo empieza.

La orientación práctica es sencilla. Para chat cotidiano, redacción y resúmenes, Q4_K_M es la elección correcta. Para generación de código y razonamiento más difícil, sube a Q5_K_M, Q6_K o Q8_0 si tienes la VRAM, porque las pérdidas de calidad aparecen primero en la lógica y el código. Por debajo de Q4, la degradación se vuelve notable, así que Q3 y Q2 son últimos recursos para encajar un modelo sobredimensionado en hardware insuficiente. Un corolario útil: un modelo más grande con cuantización más agresiva a menudo supera a un modelo más pequeño con cuantización ligera. Un modelo de 14B a Q4 normalmente superará a uno de 7B a Q8 si ambos caben en tu presupuesto de memoria.

El formato de archivo estándar para estos pesos cuantizados es GGUF, el formato de archivo único que usan llama.cpp y Ollama. El mismo archivo .gguf corre en Windows, Linux y macOS y en los backends CUDA, Metal y CPU, así que puedes descargar un archivo y moverlo entre máquinas sin conversión.

VRAM y RAM por tamaño de modelo: la tabla práctica

Esto es lo que necesita cada nivel de modelo a Q4_K_M, incluyendo un modesto margen de contexto. Un modelo de 3B a 4B (Phi-4 Mini, Llama 3.2 3B, Gemma 3 4B, Qwen 3 4B) necesita unos 2 a 4 GB y corre en casi cualquier cosa, incluidos portátiles solo con CPU con 8 a 16 GB de RAM. Un modelo de 7B a 8B (Mistral 7B, Llama 3.1 8B, Qwen 3 8B) necesita unos 6 a 8 GB y va cómodo en cualquier GPU de 8 GB o mayor. Un modelo de 13B a 14B necesita unos 9 a 12 GB y cabe en una tarjeta de 12 GB. Un modelo de 30B a 34B necesita aproximadamente 18 a 24 GB y es el encaje natural para una sola tarjeta de 24 GB.

El salto que todo el mundo subestima es el de 70B. A Q4_K_M un modelo de 70B quiere aproximadamente 40 a 48 GB una vez que incluyes una ventana de contexto utilizable, lo que significa que no cabe en una sola tarjeta de 24 GB. Necesitas dos GPU de 24 GB agrupadas (48 GB en total), una sola tarjeta de estación de trabajo de 48 GB, o un Mac de memoria unificada grande. Un modelo de 405B es otro universo: aproximadamente 240 GB incluso a 4 bits, alrededor de 486 GB a FP8, lo que es territorio de centro de datos (piensa en 8x A100 80 GB u 8x H100), más más de un terabyte de RAM de sistema y NVMe rápido para los pesos.

No olvides la caché KV, la partida que revienta presupuestos en silencio. Para un modelo de 8B la caché crece desde una fracción de GB a 2K de contexto hasta unos 5 GB a 32K y alrededor de 20 GB a 128K. En un modelo de 70B un contexto de 128K puede exigir más de 40 GB de caché por encima de los pesos. Si piensas usar contextos largos, dimensiona para la caché, no solo para el modelo. Cuantizar la caché KV a 8 bits la reduce aproximadamente a la mitad con un pequeño coste de calidad.

Opciones de GPU y lo que cuestan de verdad en 2026

Para inferencia pura, la VRAM por dólar es la métrica que importa, y la NVIDIA RTX 3090 de segunda mano sigue siendo el rey de la relación calidad-precio. Con 24 GB de VRAM por aproximadamente 600 a 850 dólares de segunda mano, corre modelos de 13B a alta cuantización, modelos de clase 30B a Q4, y se empareja limpiamente en un equipo de doble tarjeta de 48 GB para 70B. También es la última tarjeta de consumo con NVLink, que da a las configuraciones de dos tarjetas una comunicación GPU a GPU más rápida. La pega: sin garantía, posible historial de minería, y puede que necesites gestionar las temperaturas de la VRAM.

La RTX 4090, alrededor de 1.600 a 2.200 dólares, es la mejor todoterreno. Los mismos 24 GB pero notablemente más rápida, con buen rendimiento para generación de imágenes y ajuste fino ligero además de la inferencia, y trae garantía. La RTX 5090, aproximadamente 3.000 a 4.000 dólares en medio de escasez continua de chips de memoria, es la única tarjeta de consumo con 32 GB y el mayor ancho de banda de las tres, lo que la convierte en la elección de una sola tarjeta para modelos de 32B a Q4 con contexto largo y para modelos de mezcla de expertos. Ten en cuenta que ni siquiera 32 GB encajan limpiamente un 70B a Q4.

Las velocidades de generación del mundo real ponen las compensaciones en perspectiva. Un modelo de 8B en una sola 4090 corre por encima de 100 tokens por segundo. Un modelo de 70B a Q4_K_M no se cargará en una sola tarjeta de 24 GB; en dos 3090 corre alrededor de 16 tokens por segundo, y en dos 4090 alrededor de 19. Son velocidades utilizables, conversacionales, con el equipo doble consumiendo cerca de 900 vatios bajo carga.

Apple Silicon: el caballo de batalla silencioso para 70B

La arquitectura de memoria unificada de Apple es el camino de una sola caja más fácil hacia un modelo de 70B. Como la CPU y la GPU comparten un único pool de memoria, un Mac con 128 GB de memoria unificada puede cargar modelos que de otro modo requerirían dos GPU con NVLink o una tarjeta de centro de datos. Un M4 Max ofrece aproximadamente 546 GB/s de ancho de banda y admite hasta 128 GB, mientras que el M3 Ultra llega a 192 GB a alrededor de 800 GB/s, que es la verdadera pieza de gama alta de Apple para trabajo de IA dado que no hay M4 Ultra.

En la práctica un M4 Max ejecuta Llama 3.3 70B a Q4_K_M en algún punto del rango de 15 a 28 tokens por segundo según el backend y el contexto. Usa el framework MLX de Apple en vez del backend predeterminado llama.cpp; MLX es consistentemente entre un 30 y un 50 por ciento más rápido en Apple Silicon. Una recomendación firme: para trabajo serio de 70B elige 128 GB, no 64 GB. Un modelo de 70B a Q4 técnicamente cabe en 64 GB, pero la presión de memoria de macOS se dispara y el sistema pagina a SSD, lo que hunde la velocidad y estresa la unidad. La configuración de 128 GB deja margen para tu navegador, tu editor y el modelo a la vez.

La compensación frente a NVIDIA es velocidad para modelos que caben en la VRAM de una GPU, donde una 4090 tiene aproximadamente el doble de ancho de banda que un M4 Max. Apple gana en lo que cabe en una sola máquina silenciosa que consume poca energía; NVIDIA gana en rendimiento bruto para modelos que caben en la tarjeta.

Solo CPU y descarga híbrida: el camino económico

Puedes ejecutar un LLM local sin GPU alguna. En una CPU moderna con DDR5 de doble canal, un modelo de 3B a 4B a Q4 corre alrededor de 8 a 25 tokens por segundo, lo bastante rápido para uso interactivo real. Phi-4 Mini (3,8B) es el destacado aquí: una huella de unos 2,3 GB, aproximadamente 12 tokens por segundo en una CPU moderna, y puntuaciones de referencia que igualan a Llama 3.1 8B en conocimiento general. Un modelo de 7B a 8B en CPU cae a aproximadamente 3 a 8 tokens por segundo, lo que está bien para trabajos por lotes pero es lento para chat. Por encima de 8B, solo CPU deja de ser práctico.

Dos detalles de CPU mueven la aguja. La velocidad de memoria importa: pasar de DDR5-4800 a DDR5-6000 ha demostrado elevar la velocidad de generación de 7B a 8B en un 20 por ciento o más, puramente por el ancho de banda. Y el doble canal importa: dos módulos de RAM duplican efectivamente el ancho de banda frente a uno, así que llena ambos canales. La regla simple de RAM para inferencia en CPU es: el tamaño del archivo GGUF más unos 500 MB de sobrecarga equivale a tu mínimo.

Cuando un modelo es ligeramente demasiado grande para tu VRAM, la descarga híbrida mantiene algunas capas en la GPU y vuelca el resto a la RAM del sistema. Esto es más lento que GPU completa pero más rápido que solo CPU, y, lo que es crucial, no cambia en absoluto la calidad de la salida; los mismos pesos hacen las mismas cuentas, solo que almacenados en lugares diferentes. El coste de velocidad depende de tu ancho de banda PCIe, así que en una GPU discreta espera una penalización real por capa descargada. Es un apaño pragmático, no un sustituto de meter el modelo en la VRAM.

Lo que medimos: un modelo 4B en una tarjeta de 8 GB

Las reglas generales fallan en el límite, así que aquí tienes un modelo medido de principio a fin en nuestro propio equipo de pruebas: Intel Core i7-7700, 32 GB de RAM, NVIDIA GeForce GTX 1080 con 8 GB, llama.cpp llama-server (compilación CUDA 12, flash attention activado), 9 de noviembre de 2026. El modelo es un híbrido de 4.000 millones de parámetros en Q4_K_M, un archivo de 3,3 GB. Sus pesos de lenguaje ocuparon 2.514 MiB en la tarjeta, y la tabla de embeddings de tokens de 497 MiB se quedó en la RAM del sistema, como hace llama.cpp por defecto.

Con todas las capas en la tarjeta y una caché de 16.384 tokens compartida por dos conversaciones, la tarjeta albergó además 512 MiB de caché KV, 100,5 MiB de estado recurrente y 72 MiB de búferes de cálculo, más 223 MiB de memoria de trabajo para el codificador de visión. Leyó los prompts a 750-892 tokens por segundo y escribió a 24,9-37,4 tokens por segundo.

Minutos después, el mismo modelo se reinició con una ventana de 12.288 tokens por conversación mientras otros modelos compartían la tarjeta. La caché KV creció a 768 MiB y 3 de sus 33 capas ya no cabían, así que se ejecutaron en el procesador. Entonces leyó los prompts a 110 tokens por segundo y escribió a 5,47. Mover el 9 % de las capas costó entre el 78 y el 85 % de la velocidad de generación: una descarga parcial es una tubería, y su etapa más lenta, los pesos que cuatro hilos de CPU leen de la RAM del sistema, marca el ritmo de cada token. La regla práctica: cuando un modelo cabe muy justo, reduce la ventana de contexto o elige la siguiente cuantización más pequeña antes de dejar que las capas se desborden.

Niveles de coste: elige el equipo más pequeño que encaje con tu carga de trabajo

Ajusta el hardware al modelo que de verdad necesitas, no al más grande que puedas imaginar. Nivel de entrada, aproximadamente 0 a 400 dólares: un portátil o sobremesa que ya tienes, ejecutando modelos de 3B a 8B en CPU o una GPU de 8 GB. Esto cubre redacción privada, resúmenes, clasificación y ayuda sencilla de programación, y basta para confirmar si la IA local encaja en tu flujo de trabajo siquiera. Nivel entusiasta, aproximadamente 700 a 2.200 dólares: una sola RTX 3090 de segunda mano o una RTX 4090 nueva con 24 GB, ejecutando cómodamente modelos de 13B a 34B para programación diaria, RAG sobre tus propios documentos y scripts agénticos.

Nivel prosumidor, aproximadamente 2.000 a 5.000 dólares: dos GPU de 24 GB (48 GB agrupados) o un Mac M4 Max de 128 GB, el punto de entrada para modelos de clase 70B a velocidad conversacional. Este es el nivel donde un modelo local compite de verdad con una API alojada para muchas tareas. Cualquier cosa más allá, la frontera de clase 405B, es efectivamente solo en la nube para casi todo el mundo, y para casi todos los casos de uso reales un modelo de 70B bien elegido iguala o supera a un modelo de 405B mientras cuesta una fracción ejecutarlo.

Este ejercicio de dimensionamiento es exactamente donde empieza el trabajo de configuración de IA local de Pineido. Definimos el alcance del equipo más pequeño que cumpla tus requisitos de privacidad y rendimiento, elegimos el modelo y la cuantización para que encajen, y levantamos el stack para que sobreviva al contacto con el uso real. Si estás sopesando IA local frente a alojada para datos sensibles, nuestros sprints de configuración de IA local y pocket AI convierten estas matemáticas en un sistema funcional en 30 días, con un servicio de CTO fraccional disponible cuando la decisión toca tu hoja de ruta de infraestructura más amplia.

Reciba ideas sobre operaciones cada semana

Únase a los responsables de empresas de servicios que reciben cada semana una idea práctica sobre operaciones, automatización y crecimiento.

Estamos comprobando que es una persona. Podrá enviar en un momento.

Sin spam. Cancele cuando quiera.

¡Ya está suscrito! Busque nuestro próximo número en su bandeja de entrada.

¿Listo para lanzar?

Cuéntenos dónde está atascado. Lo revisaremos y le enviaremos una recomendación concreta en un día hábil.

Preguntas frecuentes

¿Cuánta VRAM necesito para ejecutar un LLM local?

Con la cuantización habitual Q4_K_M, cuenta con aproximadamente 0,5 a 0,7 GB por cada mil millones de parámetros más un margen para el contexto. Eso significa unos 6 a 8 GB para un modelo de 7B a 8B, 9 a 12 GB para uno de 13B, 18 a 24 GB para uno de 30B, y aproximadamente 40 a 48 GB para uno de 70B. Los contextos largos añaden caché KV por encima, así que aumenta el tamaño si piensas usar 32K tokens o más.

¿Puedo ejecutar un LLM local sin GPU?

Sí, para modelos más pequeños. Una CPU moderna con DDR5 de doble canal ejecuta modelos de 3B a 4B a aproximadamente 8 a 25 tokens por segundo, lo que es utilizable para chat. Un modelo de 7B a 8B cae a unos 3 a 8 tokens por segundo, válido para trabajo por lotes pero lento para uso interactivo. Por encima de 8B, la inferencia solo con CPU se vuelve poco práctica y querrás una GPU o un Mac con Apple Silicon.

¿Qué hardware ejecuta un modelo de 70B en local?

Un modelo de 70B a Q4_K_M necesita aproximadamente 40 a 48 GB de memoria, así que no cabe en una sola GPU de 24 GB. Los tres caminos prácticos son dos GPU de 24 GB agrupadas (dos RTX 3090 o 4090 para 48 GB), una sola tarjeta de estación de trabajo de 48 GB, o un Mac con Apple Silicon con 128 GB de memoria unificada. Espera aproximadamente 15 a 28 tokens por segundo según la configuración.

¿Sigue valiendo la pena comprar la RTX 3090 para IA local en 2026?

Para inferencia, sí. A aproximadamente 600 a 850 dólares de segunda mano ofrece la mejor VRAM por dólar de cualquier tarjeta de consumo, con 24 GB y el único soporte de NVLink de consumo, lo que hace que los equipos de doble tarjeta de 48 GB para modelos de 70B sean más baratos que cualquier alternativa. Las compensaciones son: sin garantía, posible historial de minería y velocidad algo menor que una 4090. Compra la 4090 en su lugar si también quieres cobertura de garantía, generación de imágenes o ajuste fino ligero.

¿Por qué el ancho de banda de memoria es más importante que la velocidad de reloj de la CPU o la GPU?

Generar cada token requiere transmitir los pesos activos del modelo a través del procesador, así que la velocidad de tokens está limitada por la rapidez con que se puede leer la memoria, no por la potencia bruta de cálculo. Por eso una RTX 4090 a unos 1.000 GB/s parece instantánea mientras que la RAM de sistema a 70 a 90 GB/s parece lenta con el mismo modelo, y por eso una DDR5 más rápida por sí sola puede elevar la velocidad de inferencia en CPU en un 20 por ciento o más.

¿De verdad necesito un modelo de 405B, o basta con uno de 70B?

Para casi todos los casos de uso prácticos un modelo de 70B bien elegido es suficiente y a menudo iguala o supera a un modelo de 405B en pruebas de referencia mientras cuesta una fracción ejecutarlo. Un modelo de 405B necesita aproximadamente 240 GB incluso a 4 bits, lo que es hardware de centro de datos, así que es efectivamente solo en la nube. Resérvalo para investigación específica que de verdad requiera el máximo tamaño de modelo.