Un recorrido técnico completo desde la tokenización hasta el muestreo de respuestas, pasando por la arquitectura transformer y el proceso de entrenamiento con RLHF
ChatGPT parece mágico desde el exterior: le escribes cualquier pregunta en lenguaje natural y te responde con texto coherente, informado y contextualmente apropiado. Pero no hay magia —hay matemáticas, muchas matrices y millones de parámetros ajustados durante semanas de entrenamiento en miles de GPUs. Este capítulo abre la caja negra paso a paso, desde el primer carácter que escribes hasta la última palabra de la respuesta.
Entender el funcionamiento interno de los LLMs (Large Language Models) no es solo una curiosidad académica: te permite usar estas herramientas de manera más efectiva, entender sus limitaciones fundamentales (como las alucinaciones), y tomar decisiones informadas sobre cuándo confiar en sus respuestas y cuándo verificarlas.
Los modelos de lenguaje no leen texto carácter por carácter ni palabra por palabra: lo hacen en "tokens", unidades que pueden ser palabras completas, partes de palabras o caracteres individuales. El tokenizador de GPT usa Byte-Pair Encoding (BPE), un algoritmo que construye un vocabulario de subpalabras aprendiendo cuáles combinaciones de caracteres aparecen frecuentemente juntas.
GPT-4 tiene una ventana de contexto de 128.000 tokens, equivalente a aproximadamente 100.000 palabras o 300 páginas de texto. Esta "memoria" de contexto es todo lo que el modelo "ve" en una conversación: el system prompt, toda la historia de mensajes, y la respuesta en construcción. Todo lo que esté fuera de esta ventana no existe para el modelo.
Cada token se convierte en un vector numérico de alta dimensión llamado embedding. GPT-4 usa vectores de 12.288 dimensiones (12.288 números flotantes por token). Estos vectores no son aleatorios: el entrenamiento los organiza de manera que tokens semánticamente similares quedan cerca en el espacio vectorial.
La atención —el mecanismo central del transformer— opera como productos punto (dot products) entre vectores de query y key. Este producto punto mide la similitud entre vectores: cuánto debe "atender" un token a cada otro token en el contexto. Los embeddings hacen que esta similitud corresponda a similitud semántica real.
El paper "Attention Is All You Need" (Vaswani et al., Google, 2017) introdujo la arquitectura transformer que subyace a GPT-4, Claude, Gemini y prácticamente todos los LLMs modernos. El nombre captura la intuición central: toda la información se propaga mediante mecanismos de atención, sin recurrencia ni convolución.
En cada capa transformer, cada token "atiende" a todos los demás tokens en el contexto para determinar qué información incorporar. Para cada token se calculan tres vectores:
La atención de un token sobre todos los demás = softmax(Q·KT/√dk) · V. El resultado es una suma ponderada de los Values de todos los tokens, donde los pesos son la relevancia (similitud Q-K). Esto permite que cada token incorpore información de cualquier posición en el contexto, independientemente de la distancia.
En lugar de una sola operación de atención, los transformers usan múltiples "cabezas" de atención en paralelo (8 cabezas en BERT base, 96 en GPT-4). Cada cabeza aprende a atender a diferentes tipos de relaciones: una cabeza puede especializarse en relaciones sintácticas (sujeto-verbo), otra en correferencialidad (pronombres y sus antecedentes), otra en relaciones semánticas (sinónimos y antónimos). Los outputs de todas las cabezas se concatenan y proyectan para producir la representación final.
GPT-4 apila 96 de estos bloques transformer. La información fluye a través de todas las capas: las capas inferiores capturan sintaxis y morfología; las capas intermedias, semántica y relaciones conceptuales; las capas superiores, razonamiento de alto nivel y coherencia discursiva.
La autoatención es invariante a la posición: si intercambiáramos todos los tokens, los patrones de atención serían los mismos. Para que el modelo sepa el orden de las palabras, se añade información posicional a los embeddings. El transformer original usó funciones sinusoidales; los modelos modernos como Llama usan RoPE (Rotary Position Embedding), que codifica la posición de manera que la información posicional relativa se preserva naturalmente durante la atención.
GPT-4 fue preentrenado sobre aproximadamente 13 billones de tokens de texto de internet, libros, GitHub, Wikipedia y otras fuentes. El objetivo de entrenamiento es simple: predecir el siguiente token. Dado "La capital de Francia es", el modelo debe predecir "París". Esta tarea aparentemente simple, aplicada a billones de ejemplos, obliga al modelo a aprender gramática, hechos, razonamiento, estilos de escritura y mucho más.
El costo de preentrenar GPT-4 se estima en 50-100 millones de dólares solo en cómputo (miles de GPUs H100 durante semanas). Llama 3 405B de Meta costó aproximadamente $30M. Estos costos hacen que el preentrenamiento de modelos frontier sea accesible solo para un puñado de empresas globales.
El modelo preentrenado es bueno prediciendo texto, pero no necesariamente siendo un asistente útil. El SFT usa algunos miles de ejemplos de conversaciones modelo: "prompt de usuario" → "respuesta ideal escrita por humanos expertos". Estos ejemplos enseñan al modelo el formato conversacional, la voz del asistente y los comportamientos básicos esperados. OpenAI contrata anotadores de alta calidad para producir estas respuestas de entrenamiento.
RLHF (Reinforcement Learning from Human Feedback) es la innovación clave que transforma un predictor de texto en un asistente genuinamente útil y alineado con valores humanos. El proceso tiene tres etapas:
Antes de que veas la interfaz de ChatGPT, ya hay texto en la conversación: el system prompt, inyectado automáticamente por OpenAI. Este prompt establece la personalidad del asistente, sus capacidades declaradas, sus limitaciones y sus instrucciones de comportamiento. Es lo primero que el modelo "lee" en cada conversación. Las empresas que acceden a la API de OpenAI pueden personalizar completamente el system prompt para crear asistentes con personalidades, restricciones y conocimientos específicos de su caso de uso.
Cuando ChatGPT genera una respuesta, no "decide" qué decir de una vez. Genera un token a la vez, y cada token generado se añade al contexto antes de generar el siguiente. Para cada posición, el modelo produce una distribución de probabilidad sobre los 50.000+ tokens del vocabulario. Luego aplica una estrategia de muestreo para seleccionar el siguiente token.
| Parámetro | Valor bajo | Valor alto | Uso recomendado |
|---|---|---|---|
| Temperatura (0-2) | Determinista, predecible, repetitivo | Creativo, variado, a veces incoherente | 0.2 para código; 0.7 para conversación; 1.0+ para creatividad |
| Top-p (0-1) | Solo los tokens más probables | Mayor vocabulario, más variedad | 0.9 es el estándar; bajar a 0.5 para mayor coherencia |
| Max tokens | Respuestas cortas, económicas | Respuestas largas, detalladas | Limitar para control de costos en aplicaciones |
| Frequency penalty | Sin penalización por repetición | Evita repetir las mismas palabras | 0.5-1.0 para texto largo y variado |
Con top-p=0.9, el modelo solo considera el conjunto mínimo de tokens cuyas probabilidades acumuladas suman el 90%. Si "París" tiene probabilidad 0.85 para completar "La capital de Francia es ___", ese token solo supera el umbral del 90% junto con 2-3 alternativas. El muestreo se realiza solo dentro de este "núcleo", eliminando opciones muy improbables pero manteniendo variabilidad controlada.
Las alucinaciones —respuestas que suenan plausibles y confiadas pero son factualmente incorrectas— son la limitación más peligrosa de los LLMs actuales. Entender por qué ocurren es fundamental para usar estos sistemas responsablemente.
Las alucinaciones son más frecuentes en: citas y referencias bibliográficas específicas, fechas y números precisos, hechos sobre personas poco conocidas, información posterior a la fecha de corte del entrenamiento, y razonamiento matemático complejo. La solución práctica: siempre verificar afirmaciones específicas y críticas; usar los LLMs para razonamiento, síntesis y redacción, no como fuente primaria de hechos precisos.
| Modelo | Desarrollador | Costo aprox. | Característica distintiva |
|---|---|---|---|
| GPT-4o | OpenAI | $2.50/$10 por 1M tokens entrada/salida | Multimodal, más rápido que GPT-4 |
| GPT-4o mini | OpenAI | $0.15/$0.60 por 1M tokens | Muy barato para aplicaciones de alto volumen |
| Claude 3.5 Sonnet | Anthropic | $3/$15 por 1M tokens | Mejor en razonamiento, Constitutional AI |
| Gemini 1.5 Pro | $1.25/$5 por 1M tokens | Contexto de 1M tokens, integración Google | |
| Llama 3.1 405B | Meta (open source) | Costo de infraestructura propio | Open source, personalizable, privacidad total |
| Mistral Large | Mistral AI | $2/$6 por 1M tokens | Fuerte en código y matemáticas, EU-based |
Los modelos grandes requieren cantidades masivas de memoria GPU: GPT-4 requeriría cientos de GB de VRAM en precisión completa FP32. La cuantización reduce la precisión numérica de los pesos del modelo: de FP32 (32 bits) a FP16 (16 bits, reducción 2×), INT8 (8 bits, reducción 4×) o INT4 (4 bits, reducción 8×). Con cuantización INT4, Llama 3 8B —un modelo de 8 mil millones de parámetros— puede ejecutarse en una GPU de consumo de 8GB de VRAM con calidad ligeramente degradada. Esto ha democratizado el acceso a LLMs potentes mediante herramientas como Ollama, LM Studio y llama.cpp.