Cuando los algoritmos deciden sobre empleos, préstamos, libertad y diagnósticos médicos, la ética deja de ser filosofía abstracta y se convierte en una cuestión urgente de justicia.
Durante décadas, la inteligencia artificial fue un tema de laboratorio. Hoy, los algoritmos toman o influyen en decisiones que afectan directamente la vida de miles de millones de personas: qué candidatos pasan el primer filtro de selección de empleo, si un préstamo hipotecario es aprobado, cuánto tiempo pasa una persona en prisión preventiva, qué contenido político ves en tus redes sociales, o si un sistema de diagnóstico detecta tu cáncer a tiempo.
La diferencia entre una decisión humana sesgada y una algorítmica sesgada es la escala. Un juez humano con prejuicios afecta a los casos que él o ella atiende. Un algoritmo sesgado desplegado a nivel nacional afecta a millones de personas simultáneamente, con una velocidad y consistencia que ningún humano podría igualar. La escala amplifica tanto los beneficios como los daños.
COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) es un algoritmo usado en tribunales de Estados Unidos para predecir la probabilidad de que un acusado reincida en delitos, influyendo en decisiones de libertad condicional y sentencias. En 2016, ProPublica realizó un análisis exhaustivo de los resultados en Broward County, Florida:
La controversia de COMPAS ilustra múltiples problemas simultáneamente: sesgo en los datos de entrenamiento (histórico de arrestos que ya refleja sesgos policiales), falta de transparencia (caja negra propietaria), y consecuencias reales devastadoras para personas reales. Un hombre en Wisconsin apeló su sentencia argumentando que no podía impugnar el algoritmo que la había influenciado, porque nadie podía explicar cómo funcionaba.
Amazon construyó entre 2014 y 2017 un sistema de IA para filtrar currículos. El sistema aprendió de los patrones de contratación históricos de Amazon — que en tecnología son predominantemente masculinos. El sistema aprendió a penalizar currículos que contenían la palabra "mujeres" (como en "club de ajedrez femenino" o "universidad femenina") y a preferir verbos activos típicamente usados por hombres en sus currículos ("ejecuté", "lideré") sobre verbos más descriptivos. Amazon descubrió el problema en 2015 y abandonó el proyecto en 2017, pero el caso se hizo público en 2018.
El estudio "Gender Shades" (Buolamwini y Gebru, MIT Media Lab, 2018) evaluó sistemas de reconocimiento facial comerciales de IBM, Microsoft y Face++. Como se mencionó en el capítulo anterior, la tasa de error variaba dramáticamente según el tono de piel y el género. Más preocupante: estos sistemas se estaban usando activamente para identificación policial. En 2020, Robert Williams, un hombre negro en Michigan, fue arrestado erróneamente basándose en una coincidencia falsa de reconocimiento facial. Pasó 30 horas detenido antes de que el error se descubriera.
| Tipo de sesgo | Descripción | Ejemplo |
|---|---|---|
| Sesgo en los datos | Los datos de entrenamiento no representan bien a toda la población o reflejan inequidades históricas | Datasets de imágenes médicas con mayoría de pacientes de piel clara |
| Sesgo de medición | La variable que se mide como proxy del objetivo real está sesgada | Usar arrestos previos (sesgado por prácticas policiales) como proxy de propensión al crimen |
| Sesgo de agregación | Un modelo entrenado en toda la población falla en subgrupos específicos | Modelos de predicción de diabetes entrenados mayormente en datos de hombres |
| Sesgo de evaluación | El conjunto de prueba no refleja la distribución real de uso | Evaluar un sistema de traducción solo en texto formal cuando se usará en redes sociales |
| Sesgo de despliegue | El modelo funciona bien en condiciones de laboratorio pero falla en el contexto real de uso | Sistema de diagnóstico entrenado en hospitales universitarios desplegado en clínicas rurales |
| Sesgo emergente | El sesgo surge de la interacción entre el algoritmo y el comportamiento humano en respuesta a él | Algoritmos de recomendación que llevan a cámaras de eco ideológicas |
La IA potencia capacidades de vigilancia sin precedente histórico. El capitalismo de vigilancia (término acuñado por la académica Shoshana Zuboff) describe el modelo de negocio de empresas como Google y Facebook: extraer datos de comportamiento de usuarios, procesarlos con IA para inferir deseos, temores y vulnerabilidades, y venderlos a anunciantes para modificar el comportamiento.
En China, el sistema de "crédito social" del gobierno usa reconocimiento facial, análisis de comunicaciones y monitoreo de comportamiento financiero para asignar puntuaciones a los ciudadanos. Puntuaciones bajas pueden resultar en prohibiciones para viajar en avión o tren, acceso limitado a escuelas de calidad para los hijos, o publicación pública del nombre en listas de "deshonestos". En 2018, el sistema bloqueó más de 17.5 millones de compras de billetes de avión y 5.5 millones de compras de tren.
El problema de la caja negra: los modelos de deep learning más precisos son típicamente los menos explicables. Una red neuronal profunda puede tener miles de millones de parámetros; no existe una manera sencilla de explicar por qué produjo una decisión específica. Esto es problemático cuando esa decisión afecta a personas.
Dos técnicas principales para explicabilidad post-hoc (explicar decisiones de modelos ya entrenados):
El Reglamento General de Protección de Datos (GDPR) de la Unión Europea (2018) establece en su Artículo 22 el "derecho a explicación" para decisiones automatizadas que tienen efectos legales o significativos sobre una persona. Esto convierte la explicabilidad de la IA en un requisito legal en Europa.
En 2018, un vehículo autónomo de Uber atropelló y mató a Elaine Herzberg en Tempe, Arizona — la primera muerte peatonal documentada causada por un vehículo autónomo. ¿Quién era responsable? ¿La empresa Uber? ¿La operadora del vehículo que miraba un programa en su teléfono? ¿Los ingenieros que diseñaron el sistema de detección? ¿Los reguladores que permitieron las pruebas en vías públicas? Esta cadena de responsabilidad difusa es uno de los problemas legales y éticos más complejos que plantea la IA.
El entrenamiento de modelos de IA de gran escala tiene una huella de carbono significativa. Un estudio de Emma Strubell et al. (2019) estimó que entrenar un solo modelo de NLP de grande escala emite aproximadamente 284 toneladas de CO₂ — equivalente a cinco vidas enteras de un estadounidense promedio en términos de emisiones de transporte. Entrenar GPT-3 se estimó en 552 toneladas de CO₂. Sin embargo, la inferencia (usar el modelo después de entrenado) escala a miles de millones de consultas diarias, multiplicando ese impacto.
Al mismo tiempo, la IA está siendo aplicada para combatir el cambio climático: optimización de redes eléctricas, diseño de materiales para baterías de próxima generación, modelado climático de alta resolución y optimización de rutas de transporte para reducir emisiones. El balance neto es incierto y depende de decisiones de política energética en los centros de datos.
| Marco | Región | Enfoque clave |
|---|---|---|
| EU AI Act (2024) | Unión Europea | Clasificación por riesgo: inaceptable (prohibido), alto riesgo (regulado), limitado y mínimo |
| Executive Order on AI (2023) | Estados Unidos | Estándares de seguridad, evaluación de riesgos, protección de privacidad; sin fuerza de ley formal |
| Regulaciones IA de China | China | Requisitos de etiquetado para IA generativa, control estatal de datos, prohibición de contenido que amenace el orden social |
| GDPR Art. 22 | Unión Europea | Derecho a explicación en decisiones automatizadas con efectos legales; derecho a revisión humana |
El EU AI Act clasifica los sistemas de IA en cuatro categorías de riesgo. Sistemas de "riesgo inaceptable" están prohibidos: puntuación social por gobiernos, manipulación subliminal, explotación de vulnerabilidades de grupos específicos. Sistemas de "alto riesgo" (IA en crédito, empleo, educación, infraestructura crítica, justicia penal) requieren evaluación de conformidad, registro en una base de datos europea y supervisión humana obligatoria.
Los sistemas de armas autónomas letales (LAWS, "killer robots") que pueden seleccionar y atacar objetivos sin intervención humana representan uno de los debates éticos más urgentes. Más de 30 países, incluyendo Austria, Brasil y Nueva Zelanda, apoyan un tratado internacional para prohibirlos. Estados Unidos, Rusia, Israel y China se oponen. El argumento en contra: delegar decisiones letales a una máquina viola principios fundamentales del derecho internacional humanitario, que requiere distinción entre combatientes y civiles, proporcionalidad y precaución — juicios contextuales que los algoritmos actuales no pueden realizar de forma confiable.