En los últimos años, la inteligencia artificial (IA) se ha convertido en una herramienta clave para la automatización de decisiones en sectores como el financiero, laboral, educativo y sanitario. Sin embargo, su uso indiscriminado y sin supervisión ha dado lugar a la llamada «discriminación algorítmica», una forma moderna de sesgo que pone en riesgo derechos fundamentales. En este artículo, abordamos esta problemática desde una mirada técnico-jurídica, enfocándonos en los desafíos y oportunidades que presenta para los marcos normativos de América Latina.
La “discriminación algorítmica” se da cuando un sistema de IA genera resultados que desfavorecen sistemáticamente a ciertos grupos sociales. Esto puede ocurrir por distintos motivos: (a) porque los datos de entrenamiento oblicuos se desvían por reflejar desigualdades históricas; (b) porque dentro del diseño el modelo, las variables utilizadas o sus ponderaciones pueden igualmente estar sesgadas y (c) por falta de control o supervisión humana, lo que hace que estos sesgos pasen desapercibidos y se afecten así la calidad de las decisiones.
Es claro que dentro del ciclo de vida de un sistema de IA, los hay puntos críticos de riesgo para la discriminación algorítmica y estos son el entrenamiento, el diseño, la implementación y fundamentalmente, la auditoría.
En cuanto a la normativa internacional y regional, el Reglamento General de Protección de Datos (RGPD) de la Unión Europea es el referente global en esta materia. Reconoce derechos fundamentales como no ser objeto de decisiones automatizadas con efectos significativos, acceder a una explicación del proceso algorítmico y a solicitar intervención humana.
En América Latina, países como Brasil, Uruguay y México han avanzado en legislaciones similares. La Ley General de Protección de Datos de Brasil, por ejemplo, establece derechos frente a decisiones automatizadas, aunque su implementación práctica aún enfrenta desafíos.
Como caso jurisprudencial destacado, podemos mencionar el del Tribunal Constitucional de Colombia –Sentencia T-067/25 (donde la letra T refiere a la acción de tutela, como mecanismo de protección de derechos fundamentales).
En esta sentencia, la Corte Constitucional de la República de Colombia abordó el uso de sistemas de toma de decisiones automatizadas (SDA) por parte de entidades públicas. El fallo estableció que la transparencia algorítmica es una garantía fundamental para asegurar un empleo adecuado y razonable de los datos personales y evitar decisiones arbitrarias o discriminatorias. La Corte enfatizó que el público debe comprender cómo los SDA procesan datos y toman decisiones que afectan sus vidas. Además, la Corte señaló que, aunque la publicación del código fuente puede ser un mecanismo para garantizar la transparencia, existen situaciones donde una explicación significativa sobre el funcionamiento del sistema es más apropiada; especialmente cuando la divulgación total podría afectar la seguridad nacional o revelar secretos empresariales. No obstante, en el caso de entidades públicas, la transparencia debe guiarse por un principio de divulgación máxima.
Desatacamos muy especialmente el concepto de transparencia algorítmica reflejado en esta sentencia, en los siguientes términos: “(…) la transparencia en el uso de esta herramienta es una garantía fundamental para asegurar un empleo adecuado y razonable de los datos personales y evitar que el uso de sistemas algorítmicos para la toma de decisiones por parte de entidades públicas derive en decisiones arbitrarias o discriminatorias. (…) Lo que se busca con la transparencia algorítmica es… que el público en general pueda comprender cómo los sistemas de toma de decisiones automatizadas (SDA) procesan los datos que capturan y cómo toman decisiones que afectan la vida de las personas. Se trata de un principio con un fin constitucional: democratizar el funcionamiento interno de un sistema de toma de decisión automatizado, para que sea entendible por quienes se ven afectados por su puesta en marcha y operación. (…) La transparencia algorítmica es particularmente relevante en el uso de SDA por parte de entidades públicas. Lo anterior, debido a que las decisiones que toma el Estado a través de estos sistemas tienen efectos importantes en materia de derechos.(…) Se trata de una garantía fundamental en una sociedad democrática, pues si un sistema de toma de decisiones automatizadas (SDA) opera y toma decisiones de manera opaca, es imposible que la sociedad evalúe su capacidad de actuar con justicia y equidad, o su impacto en la autonomía y la dignidad de las personas. Como su propia definición lo revela, la transparencia algorítmica es un concepto que se deriva de un elemento que hace parte sustancial e inescindible de la naturaleza del derecho fundamental al acceso a la información pública: la disponibilidad de información.
A pesar de avances puntuales, América Latina aún carece de un marco integral sobre IA y protección de datos. Los principales retos son una legislación fragmentada y falta de autoridades especializadas, la poca capacidad técnica para auditar sistemas automatizados y principalmente, la enorme desigualdad digital, que impide a los ciudadanos conocer y ejercer sus derechos.
Desde una perspectiva jurídica y técnica, es necesario avanzar en evaluaciones de impacto algorítmico obligatorias para sectores sensibles, auditorías independientes y regulares a sistemas automatizados, regulación que garantice transparencia y supervisión humana y realizar campañas de alfabetización digital y jurídica dirigidas a la ciudadanía y a operadores jurídicos.
La discriminación algorítmica no es un problema futurista, sino una realidad que ya afecta a miles de personas. América Latina tiene la oportunidad de adoptar una regulación proactiva, que combine principios técnicos y jurídicos, y que ponga en el centro a los derechos humanos. Para ello, es esencial un diálogo entre legisladores, desarrolladores, juristas y sociedad civil. La IA puede ser una aliada del progreso, siempre que se la regule con visión crítica y compromiso ético.
