Ética de sistemas: cuando los algoritmos toman decisiones

Objetivo didáctico

Al terminar esta ficha serás capaz de analizar y auditar críticamente sistemas algorítmicos que influyen en decisiones de alto impacto, identificando responsabilidades distribuidas, riesgos para derechos, mecanismos de supervisión, posibilidades de impugnación y formas legítimas de participación y resistencia ciudadana.

Introducción

La imagen popular de un algoritmo suele ser demasiado pequeña: datos entran, una fórmula trabaja y una respuesta sale. Pero un sistema capaz de afectar un crédito, una prestación social o una decisión judicial necesita mucho más. Alguien define qué debe predecirse, otra persona selecciona datos, una organización establece el umbral, una interfaz presenta el resultado y finalmente una institución decide qué autoridad concederle. El algoritmo es solo una pieza.

Por eso NIST caracteriza los sistemas de inteligencia artificial como sociotécnicos: sus beneficios y riesgos emergen de la interacción entre componentes técnicos, conducta humana y contexto social. Esta perspectiva coincide con una crítica importante de la investigación sobre fairness: estudiar solamente propiedades matemáticas puede abstraer fuera del análisis precisamente las instituciones que producen la desigualdad que se intenta medir (Selbst et al., 2019).

Esta diferencia cambia la pregunta ética. En vez de preguntar solamente “¿el algoritmo está sesgado?”, conviene investigar quién definió su objetivo, respecto de quién se midió el error, qué comportamiento humano cambia cuando aparece una puntuación y qué ocurre cuando la persona afectada discrepa. Un sistema puede utilizar un modelo técnicamente competente y continuar siendo institucionalmente injustificable.

También explica por qué transparencia no basta. Publicar código fuente puede ayudar a especialistas y seguir siendo inútil para una persona que necesita saber por qué perdió acceso a un servicio. Una explicación puede ser clara y, aun así, describir una regla discriminatoria. Y un modelo puede ser estadísticamente justo según una métrica mientras el procedimiento completo carece de una vía efectiva para corregir errores. La ética de sistemas exige conectar desempeño con poder.

Desarrollo del tema

Sistemas sociotécnicos: la decisión empieza mucho antes del modelo

Imagine un sistema diseñado para identificar solicitudes de crédito con alto riesgo de incumplimiento. Antes de entrenar cualquier modelo ya se tomaron decisiones normativas: qué significa “riesgo”, cuánto tiempo debe observarse, qué ingresos se consideran estables, cómo se tratan historiales incompletos y qué costo tiene rechazar por error a una persona solvente. Esas decisiones pueden transformarse después en variables y métricas que parecen puramente técnicas.

En 2023, el AI Risk Management Framework de NIST organizó la gestión del riesgo alrededor de cuatro funciones: gobernar, mapear, medir y gestionar. El orden conceptual importa. Antes de medir precisión hay que comprender el contexto, los actores y los impactos. NIST señala además que confiabilidad, seguridad, transparencia, explicabilidad, privacidad y gestión del sesgo son propiedades del sistema sociotécnico, no solamente del modelo.

Esto puede observarse en una institución mexicana que automatizara la priorización de inspecciones. Si los registros históricos contienen más inspecciones en ciertos barrios, un algoritmo podría encontrar mayor cantidad de irregularidades precisamente donde históricamente se buscó más. Volver a enviar inspectores allí produciría nuevos datos que confirman el patrón. El resultado no es necesariamente un “error de programación”; puede ser un circuito de retroalimentación institucional.

Responsabilidad distribuida: cuando todos participan y nadie parece responder

Los sistemas complejos crean un problema de responsabilidad. La empresa que desarrolla el modelo puede afirmar que no decide cómo utilizarlo; la institución compradora puede responder que confió en especialistas; el funcionario puede señalar que siguió una puntuación; y el equipo técnico puede explicar que cumplió las especificaciones recibidas. Cada explicación contiene una parte de verdad y, al mismo tiempo, puede producir un vacío donde nadie asume el resultado completo.

Madeleine Clare Elish propuso en 2019 la expresión moral crumple zone —zona de deformación moral— para describir situaciones en las que el componente humano de un sistema automatizado termina absorbiendo desproporcionadamente la culpa de un fallo, del mismo modo que una zona de deformación de un automóvil absorbe energía durante una colisión. La paradoja es que una persona puede conservar poca capacidad real para modificar el sistema y cargar después con casi toda la responsabilidad.

El problema también ocurre a la inversa: colocar un “humano en el circuito” puede utilizarse como argumento para declarar seguro un sistema sin comprobar si esa persona dispone de tiempo, conocimiento, autoridad y evidencia para contradecirlo. Si un funcionario debe revisar 400 recomendaciones cada jornada, su firma final no demuestra necesariamente supervisión significativa. La presencia humana importa menos que su capacidad efectiva de intervenir.

Una arquitectura responsable debe asignar funciones antes de que ocurra el daño. ¿Quién valida los datos? ¿Quién autoriza el despliegue? ¿Quién monitoriza errores? ¿Quién recibe reclamaciones? ¿Quién puede detener el sistema? ¿Quién compensa a una persona si se demuestra una decisión errónea? Responder estas preguntas convierte la responsabilidad de una declaración abstracta en una estructura operacional.

Justicia penal y crédito: una puntuación estadística puede modificar una vida

Los sistemas de evaluación de riesgo muestran con claridad por qué un algoritmo no debe confundirse con una sentencia. En State v. Loomis, resuelto por la Suprema Corte de Wisconsin en 2016, se discutió el uso de COMPAS, una herramienta de evaluación de riesgo de reincidencia. El tribunal permitió que la evaluación fuera considerada dentro de ciertos límites, pero estableció cautelas: la puntuación no debía determinar por sí sola si una persona era encarcelada, la severidad de la sentencia ni convertirse en el factor determinante sobre supervisión comunitaria.

El caso revela una tensión difícil. Las herramientas estadísticas pueden aportar información consistente sobre grupos, pero la justicia decide sobre individuos. Un riesgo del 70% no describe un destino personal: describe una relación estadística construida mediante una población, variables y horizonte temporal determinados. Además, si la herramienta es propietaria, una persona puede tener dificultades para inspeccionar cómo se construyó una puntuación que influye indirectamente sobre su tratamiento.

En México el problema ya forma parte de la agenda judicial, aunque el contexto institucional sea distinto al estadounidense. Durante 2026 UNESCO inició capacitación especializada con jueces cívicos, mediadores y defensores públicos de Ciudad de México sobre transparencia, no discriminación, responsabilidad y derechos humanos en el uso de IA. La lección relevante no es importar sin adaptación modelos extranjeros, sino desarrollar criterios propios antes de que herramientas automatizadas se conviertan en infraestructura ordinaria.

Auditoría algorítmica: comprobar el modelo, el procedimiento y sus consecuencias

Auditar no significa pedir a un desarrollador que explique algunas líneas de código. Una auditoría seria puede estudiar procedencia y representatividad de datos, definición del objetivo, métricas, rendimiento por grupos, seguridad, privacidad, documentación, supervisión humana, procedimientos de apelación y comportamiento después del despliegue. Raji y colaboradores propusieron en 2020 pensar la auditoría interna como un proceso de extremo a extremo que acompaña distintas etapas del ciclo de vida.

Canadá ofrece un ejemplo institucional especialmente concreto. Su Directiva sobre Toma de Decisiones Automatizada exige una evaluación de impacto algorítmico para sistemas federales dentro de su ámbito, publicación de resultados y medidas proporcionales al nivel de impacto. La herramienta pública vigente contiene 65 preguntas de riesgo y 41 de mitigación, además de requerimientos que aumentan según la gravedad potencial, como revisión por pares o mayor intervención humana.

Una auditoría tampoco debería ocurrir una sola vez. Los datos cambian, los usuarios aprenden a responder al sistema y una herramienta puede empezar a utilizarse para finalidades distintas de aquellas con las que fue validada. NIST denomina a esta necesidad seguimiento continuo: hay que detectar riesgos existentes, inesperados y emergentes en el contexto real. Un certificado obtenido antes del despliegue no garantiza comportamiento indefinidamente seguro.

Regulación y resistencia civil: conservar el derecho a cuestionar la máquina

La regulación algorítmica está desplazándose desde declaraciones generales hacia obligaciones concretas. La Ley de IA de la Unión Europea clasifica como alto riesgo, entre otros casos, determinados sistemas utilizados para evaluar solvencia crediticia, aplicación de la ley y funciones judiciales. Desde el 2 de agosto de 2026 comenzaron a aplicarse nuevas obligaciones generales y de transparencia; el calendario de requisitos específicos para diversos sistemas de alto riesgo fue posteriormente ajustado dentro del proceso del denominado AI Omnibus.

La regulación, sin embargo, no es la única forma de gobernanza. En 2020, el Tribunal de Distrito de La Haya declaró incompatible con el artículo 8 del Convenio Europeo de Derechos Humanos la legislación que sustentaba SyRI, un sistema gubernamental destinado a detectar riesgos de fraude en prestaciones, impuestos y otros ámbitos. El tribunal consideró que su funcionamiento era insuficientemente transparente y verificable. El proceso había sido impulsado por varias organizaciones de la sociedad civil y personas particulares, con participación sindical.

El episodio muestra una forma importante de resistencia civil democrática: no destruir sistemas ni sabotear infraestructura, sino exigir información, organizar a personas afectadas, utilizar tribunales, presentar quejas, apoyar denunciantes, participar en consultas públicas, solicitar auditorías y cuestionar jurídicamente decisiones automatizadas. Cuando una tecnología distribuye poder, la ciudadanía necesita mecanismos igualmente distribuidos para examinarla.

México enfrenta una oportunidad particularmente importante porque muchos usos todavía se encuentran en etapas de diseño institucional. UNESCO señala la necesidad de fortalecer gobernanza multiactor y, en 2026, comenzó a trabajar con operadores de justicia de Ciudad de México sobre transparencia, rendición de cuentas y no discriminación. Establecer reglas antes de que un sistema se vuelva indispensable suele ser más sencillo que reconstruir derechos después de años de dependencia tecnológica.

Conclusión

Analizar decisiones algorítmicas como sistemas sociotécnicos modifica radicalmente la pregunta ética. El centro deja de ser si una fórmula es “buena” o “mala” y pasa a ser cómo una institución convierte datos en poder. Objetivos, bases históricas, métricas, umbrales, operadores humanos y procedimientos de recurso forman una arquitectura que puede proteger derechos o diluir responsabilidades.

Los casos de justicia penal y crédito muestran por qué el contexto importa. Una predicción estadística puede ser útil como información y peligrosa como autoridad incuestionable. La auditoría algorítmica extiende entonces la evaluación desde el modelo hacia todo el ciclo de vida: qué se pretendía hacer, quién podría ser perjudicado, cómo se mide el error, qué ocurre después del despliegue y quién puede detener el sistema.

Regulación, tribunales y acción ciudadana completan el cuadro. Una sociedad tecnológica no necesita elegir entre aceptar algoritmos ciegamente o rechazarlos por completo. Puede exigir proporcionalidad, documentación, supervisión significativa, auditorías, vías de apelación y límites para determinados usos. La decisión más importante quizá no sea qué algoritmo utilizar, sino qué decisiones estamos dispuestos a delegar y bajo qué condiciones alguien conserva el derecho efectivo de decir: “este resultado debe revisarse”.

Referencias

• Elish, M. C. (2019). Moral crumple zones: Cautionary tales in human-robot interaction. Engaging Science, Technology, and Society, 5, 40–60. https://doi.org/10.17351/ests2019.260
• European Parliament & Council of the European Union. (2024). Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence.
• Kroll, J. A., Huey, J., Barocas, S., Felten, E. W., Reidenberg, J. R., Robinson, D. G., & Yu, H. (2017). Accountable algorithms. University of Pennsylvania Law Review, 165(3), 633–705.
• National Institute of Standards and Technology. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). https://doi.org/10.6028/NIST.AI.100-1
• OECD. (2025). Governing with artificial intelligence: The state of play and way forward in core government functions. OECD Publishing.
• Raji, I. D., Smart, A., White, R. N., Mitchell, M., Gebru, T., Hutchinson, B., Smith-Loud, J., Theron, D., & Barnes, P. (2020). Closing the AI accountability gap: Defining an end-to-end framework for internal algorithmic auditing. Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, 33–44.
• Rechtbank Den Haag. (2020). ECLI:NL:RBDHA:2020:865 — Systeem Risico Indicatie (SyRI).
• Selbst, A. D., Boyd, D., Friedler, S. A., Venkatasubramanian, S., & Vertesi, J. (2019). Fairness and abstraction in sociotechnical systems. Proceedings of FAT* 2019, 59–68. https://doi.org/10.1145/3287560.3287598
• Supreme Court of Wisconsin. (2016). State v. Loomis, 2016 WI 68.
• Treasury Board of Canada Secretariat. (2025). Directive on Automated Decision-Making.
• UNESCO. (2021). Recommendation on the Ethics of Artificial Intelligence.
• UNESCO. (2025). Guidelines for the use of AI systems in courts and tribunals. https://doi.org/10.58338/LIEY8089

Actividad de aprendizaje autónoma

Proyecto: realice una auditoría ciudadana de un sistema de decisión automatizada. Seleccione un sistema real o públicamente documentado que participe en decisiones sobre crédito, justicia, empleo, educación, salud, seguros, prestaciones públicas, detección de fraude u otro ámbito con consecuencias importantes. Puede ser de México, América Latina o un caso internacional que permita extraer criterios aplicables a la región.

Antes de realizar la auditoría, complete estas cuatro afirmaciones. No evalúan memoria de nombres: comprueban que distingue las capas centrales del problema.

Construya ahora la auditoría:

1. Identifique la decisión concreta en la que participa el sistema y qué consecuencias puede producir para una persona.
2. Dibuje el sistema sociotécnico. Incluya desarrollador, proveedor, institución que lo compra, operadores, personas afectadas, reguladores y cualquier tercero que suministre datos.
3. Determine qué intenta optimizar el sistema y qué resultado utiliza como indicador de éxito. Pregunte qué valores quedan fuera de esa métrica.
4. Investigue los datos utilizados: procedencia, periodo, población representada, variables sensibles o proxies y posibles cambios desde el momento del entrenamiento.
5. Identifique falsos positivos y falsos negativos. Explique quién soporta cada error y si sus consecuencias son reversibles.
6. Analice supervisión humana. Determine quién puede contradecir la recomendación, con qué información, en cuánto tiempo y si debe justificar su desacuerdo con el sistema.
7. Examine transparencia y vías de recurso. Una persona afectada debe poder saber que intervino un sistema, comprender las razones relevantes y encontrar un procedimiento para corregir errores.
8. Proponga cinco controles: uno previo al despliegue, uno sobre datos, uno sobre desempeño, uno sobre responsabilidad institucional y uno que fortalezca derechos de las personas afectadas.
9. Cierre con un dictamen de 350 a 500 palabras: “uso justificable”, “uso justificable bajo condiciones”, “requiere rediseño” o “uso que no debería automatizarse”.

Evidencia de logro: entregue un mapa del sistema sociotécnico, matriz de actores y responsabilidades, análisis de errores, evaluación de impugnabilidad, cinco controles propuestos y el dictamen final. Incluya al menos tres fuentes independientes y separe claramente documentación del proveedor de evidencia externa.

Criterio de éxito: la auditoría será sólida si evita culpar exclusivamente al modelo, identifica responsables concretos durante distintas etapas, examina efectos por grupos además del promedio, distingue explicación de auditoría y propone una vía efectiva para corregir una decisión injustificada.

Desafío avanzado: imagine que el sistema mejora hasta alcanzar una precisión técnica casi perfecta. Revise su dictamen y señale qué objeciones desaparecerían y cuáles permanecerían intactas. Si aún existen problemas de legitimidad, privacidad, propósito o poder, habrá demostrado por qué la ética de sistemas no puede reducirse a precisión.

Reflexión final: cuando una institución afirma que “el algoritmo decidió”, ¿qué pregunta formularía ahora para volver visible a la persona, organización o regla que esa frase dejó fuera?