Cuánta VRAM necesita cada modelo de IA: tabla práctica

Descargas doce gigas de modelo, lo lanzas y el ordenador se arrastra o devuelve directamente un error de memoria. El culpable casi siempre es el mismo: la VRAM de tu tarjeta gráfica. Saber cuánta VRAM necesita un modelo de IA es una multiplicación de treinta segundos, y aquí tienes la fórmula, la tabla de referencia y las excepciones que de verdad cambian el resultado.

La fórmula para saber cuánta VRAM necesita un modelo de IA

Un modelo de lenguaje es, en el fondo, una lista gigantesca de números llamados pesos o parámetros. Para generar texto a velocidad decente, todos esos números tienen que estar en una memoria muy rápida, y esa memoria es la de la gráfica. De ahí sale la cuenta base, que es casi de primaria:

VRAM de los pesos (GB) = parámetros (miles de millones) × bits por peso ÷ 8

Un apunte de nomenclatura antes de seguir: cuando ves 7B, 14B o 70B en el nombre de un modelo, esa B es de "billion" en inglés, o sea miles de millones. Un 7B tiene unos 7.000 millones de parámetros, no siete billones.

En su formato original la mayoría de modelos se publican en 16 bits, es decir 2 bytes por peso. Aplica la fórmula a un 7B: 7 × 16 ÷ 8 son 14 GB solo de pesos. Con eso ya te has quedado fuera de casi cualquier gráfica de consumo antes de empezar. Por eso existe la cuantización, que guarda cada peso con menos bits a cambio de algo de precisión. Estos son los niveles que manejas en la práctica:

• 16 bits (FP16 o BF16): 2 bytes por peso. La referencia de calidad.
• 8 bits (Q8): alrededor de 1 byte por peso. La diferencia frente a 16 bits es difícil de notar en uso normal.
• 5 bits (Q5_K_M): en torno a 0,7 bytes por peso.
• 4 bits (Q4_K_M): en torno a 0,6 bytes por peso. El punto dulce para gráficas de consumo.

Ojo con un detalle que descuadra las cuentas de mucha gente: los formatos GGUF no usan exactamente los bits que dice su nombre. Un Q4_K_M mezcla precisiones dentro del mismo archivo y se queda cerca de 4,8 bits de media por peso, no en 4 clavados. Por eso el archivo real siempre pesa algo más que la cuenta ideal. Si quieres entender qué se pierde en cada escalón, lo desglosamos en qué significan Q4, Q5 y Q8 en los modelos GGUF.

Y falta el margen. Los pesos no son lo único que vive en la VRAM, así que la estimación útil de verdad es esta:

VRAM total estimada = VRAM de los pesos × 1,2

Ese 20 % extra cubre el uso normal con contextos moderados. Si vas a trabajar con contextos muy largos se queda corto, y ahora verás por qué.

Lo que ocupa memoria además de los pesos

Hay tres inquilinos más en la memoria de tu gráfica, y ninguno aparece en el tamaño del archivo que descargas.

La caché KV, o el precio del contexto. Cada token que el modelo ha leído o escrito deja unos valores guardados que se reutilizan para generar el siguiente. Esa caché crece de forma lineal con el número de tokens: el doble de contexto ocupa el doble de memoria. Cuánto exactamente depende de la arquitectura (número de capas y de cabezas de atención), pero el orden de magnitud está claro. En un modelo de 7B u 8B moderno, pasar de 4.000 a 32.000 tokens de contexto puede sumar varios gigas de VRAM. Es el motivo número uno por el que un modelo que arrancaba bien se cae a mitad de una conversación larga.

Los buffers de cómputo. El motor de inferencia reserva espacio de trabajo para las operaciones intermedias. Suele ser del orden de unos cientos de megas y escala con el tamaño del lote y del contexto.

El escritorio. Windows, el navegador con veinte pestañas y cualquier aplicación con aceleración por hardware ya están usando VRAM antes de que abras nada de IA. Reserva mentalmente alrededor de un giga para eso y no cuentes la memoria total de la tarjeta como disponible.

Dos ajustes te devuelven memoria sin cambiar de modelo: baja la ventana de contexto a lo que realmente necesitas (si resumes textos cortos, 8.000 tokens sobran) y cuantiza la caché KV a 8 bits, una opción que ofrecen los motores basados en llama.cpp y que reduce a la mitad ese consumo con un impacto de calidad muy pequeño.

Tabla de VRAM por tamaño de modelo y cuantización

Estos son los tamaños aproximados solo de los pesos, en gigas. Los rangos existen porque dos modelos del mismo tamaño nominal no tienen exactamente los mismos parámetros: un 8B ocupa algo más que un 7B.

Para saber la VRAM que necesitas de verdad, coge la celda que te interese y súmale ese 20 % de margen. Un 14B en Q4_K_M ocupa unos 8,5 GB de pesos, así que pide alrededor de 10 GB libres para funcionar con soltura. Y si vas a usar contextos de 32.000 tokens o más, sube el margen al 40 %.

Qué modelo te cabe según tu gráfica

Aquí la teoría se convierte en una decisión de compra o en un ejercicio de resignación. Las cifras de VRAM de las gráficas NVIDIA RTX son fijas por modelo, así que esta tabla se sostiene sola.

La conclusión práctica es que la VRAM manda por encima de la potencia bruta del chip. Una tarjeta más lenta con más memoria ejecuta modelos que una tarjeta más rápida con menos memoria ni siquiera puede cargar. Si estás valorando una compra, en qué GPU NVIDIA RTX necesitas para IA en local entramos en el resto de factores, que también cuentan.

El caso de Apple Silicon

En los Mac con chip de Apple la memoria es unificada: procesador y gráfica comparten el mismo banco. Eso juega a tu favor, porque un equipo con 32 o 64 GB carga modelos que ninguna gráfica de consumo aguanta. El matiz es doble: el sistema no deja para la GPU el total instalado, sino una parte, y el ancho de banda queda por debajo del de una gráfica dedicada de gama alta. Cabe más, pero no siempre va más rápido.

Cuando el modelo no cabe entero

Que un modelo no quepa en la VRAM no significa que no arranque. Motores como llama.cpp reparten las capas del modelo entre la gráfica y la memoria del sistema. Tú decides cuántas capas van a la GPU y el resto las calcula el procesador.

Funciona, y es la salvación cuando te faltan dos gigas. Pero el coste conviene decirlo claro: la memoria del sistema tiene mucho menos ancho de banda que la VRAM, así que la velocidad cae en picado en cuanto una parte significativa del modelo se queda fuera de la tarjeta. Con pocas capas fuera la penalización es asumible; con la mitad del modelo en el procesador, ya no. Si estás en ese escenario, o directamente no tienes gráfica dedicada, en ejecutar modelos de IA sin tarjeta gráfica explicamos hasta dónde llegas de forma realista.

Antes de tirar de reparto entre procesador y gráfica, prueba en este orden:

1. Baja la ventana de contexto. Es lo que más memoria libera y lo que menos calidad cuesta.
2. Cuantiza la caché KV a 8 bits. Recuperas un buen pellizco casi gratis.
3. Baja un escalón de cuantización, de Q6 a Q5 o de Q5 a Q4. La diferencia de calidad entre esos niveles es pequeña.
4. Cambia a un modelo más pequeño. Un 8B en Q5 que responde rápido es más útil en el día a día que un 32B en Q2 que tarda un minuto por respuesta.

Ese último punto merece énfasis. Por debajo de 4 bits la degradación se acelera mucho: el modelo empieza a repetirse, a inventar y a ignorar instrucciones. Meter un modelo enorme a la fuerza en una tarjeta pequeña rara vez sale bien.

Modelos de imagen, voz y embeddings

No todo es texto, y la fórmula cambia de matices según el tipo de modelo.

Transcripción de voz. Los modelos de la familia Whisper son pequeños comparados con los de lenguaje. El mayor ronda los 1.550 millones de parámetros, así que en 16 bits hablamos de unos 3 GB contando margen, y las variantes intermedias se quedan por debajo de 2 GB. Cualquier gráfica de 6 u 8 GB los mueve. Es, de hecho, uno de los usos locales más agradecidos: descargas el audio de un vídeo con Daun y lo transcribes en tu propio equipo sin subir nada a ningún servidor.

Generación de imagen. Los modelos de difusión reparten sus parámetros entre varios componentes (el modelo principal, los codificadores de texto y el decodificador de imagen), y no todos tienen que estar en memoria a la vez. Los generadores de la hornada anterior se manejan en 8 GB con las optimizaciones activadas. Los más recientes, que superan los 10.000 millones de parámetros, piden bastante más y suelen distribuirse ya en versiones de menor precisión para caber en tarjetas de consumo. La resolución de salida también cuenta: generar a 2K consume mucha más memoria que a 1K.

Embeddings y reordenadores. Son los modelos que convierten texto en vectores para búsquedas semánticas. Casi todos están por debajo de los 1.000 millones de parámetros y ocupan cientos de megas. Puedes tener uno cargado en paralelo a tu modelo de chat sin que se note.

Cómo comprobar tu VRAM real en dos minutos

Deja de estimar y mide. Con una gráfica NVIDIA, este comando te dice el modelo de tarjeta, la memoria total y la que queda libre en ese momento:

nvidia-smi --query-gpu=name,memory.total,memory.free --format=csv

Fíjate en memory.free, no en memory.total. Esa es la cifra que tienes que comparar con la tabla de más arriba.

Si ya usas Ollama tienes una comprobación aún más directa. Con un modelo cargado, ejecuta:

ollama ps

La salida incluye el tamaño que ocupa el modelo y, sobre todo, una columna que indica el reparto entre procesador y gráfica. Si ves un 100 % GPU, todo está donde debe estar. Si aparece un porcentaje repartido entre CPU y GPU, el modelo no cupo entero y estás pagando el peaje de velocidad. Es la forma más rápida de validar si tu elección de cuantización es la correcta. Si todavía no lo tienes montado, el proceso está en cómo instalar una IA en local con Ollama.

Errores habituales al calcular la memoria

• Confundir el tamaño del archivo con la VRAM necesaria. El archivo son solo los pesos. Faltan el contexto y los buffers.
• Contar la VRAM total como disponible. El escritorio ya se ha comido su parte antes de que empieces.
• Olvidar que el contexto se paga en cada sesión. Un modelo que entra con 4.000 tokens puede no entrar con 32.000.
• Fiarse de los parámetros activos en los modelos de mezcla de expertos. Un MoE activa solo una fracción de sus parámetros por token, lo que lo hace rápido, pero hay que cargar todos los pesos en memoria igualmente. Un MoE de 30B ocupa como un modelo denso de 30B aunque corra como uno mucho más pequeño.
• Creer que ampliar la RAM del sistema resuelve el problema. Amplía el techo de lo que puedes cargar, no la velocidad a la que se ejecuta.
• Ir al modelo más grande que quepa. Un modelo que entra rozando el límite se cae en cuanto la conversación crece. Deja aire.

Preguntas frecuentes

¿Puedo sumar la VRAM de dos gráficas?

Para inferencia, sí. Los motores habituales reparten las capas del modelo entre varias tarjetas, así que dos de 12 GB te acercan a lo que pediría una de 24 GB, descontando el margen que se pierde en cada tarjeta. Lo que no se suma es la velocidad: el modelo se procesa por capas en orden, no en paralelo, y el paso de datos entre tarjetas añade algo de latencia. Es una forma válida de ampliar el techo de memoria, no de ir más rápido.

¿Cuánta VRAM necesita un modelo de IA para hacer fine-tuning?

Mucha más que para usarlo. Al entrenar hay que guardar en memoria, además de los pesos, los gradientes y los estados del optimizador, lo que multiplica varias veces el consumo de la inferencia. Por eso casi nadie hace entrenamiento completo en casa. Las técnicas de ajuste con adaptadores tipo LoRA, y sobre todo su variante cuantizada, recortan mucho esa factura y ponen el ajuste de un modelo de 7B al alcance de tarjetas de 12 a 16 GB.

¿Es mejor un modelo grande muy cuantizado o uno pequeño con buena precisión?

Como regla general, un modelo grande en Q4 rinde mejor que uno pequeño en Q8 cuando ambos ocupan lo mismo. Un 14B en Q4 suele dar mejores respuestas que un 7B en Q8. Pero la regla se rompe por debajo de 4 bits: ahí la pérdida deja de ser gradual y el modelo empieza a fallar de forma evidente. Q4 es el suelo razonable.

¿La cuenta cambia según el sistema operativo o el motor?

El grueso no, porque los pesos ocupan lo que ocupan. Lo que cambia son los extras. Windows reserva más VRAM para el escritorio que una instalación de Linux sin entorno gráfico, y cada motor gestiona la caché y los buffers a su manera. Cuenta con una variación de un giga arriba o abajo, y toma siempre la medición de tu propio equipo como la única cifra que vale de verdad.