La IA tiene un peligroso problema de sesgo

La IA ahora guía numerosas decisiones que cambian la vida, desde evaluación de solicitudes de préstamo a determinación de las penas de prisión.

Los defensores del enfoque argumentan que puede eliminar los prejuicios humanos, pero los críticos advierten que algoritmos pueden amplificar nuestros prejuicios, sin siquiera revelar cómo llegaron a la decisión.

Esto puede resultar en sistemas de IA que conducen a personas siendo arrestadas injustamente o servicios para niños dirigidos injustamente a familias de escasos recursos. Las víctimas pertenecen con frecuencia a grupos que ya están excluidos socialmente.

Alejandro Saucedo, científico jefe de El Instituto para la IA Ética y director de ingeniería en la puesta en marcha de ML Seldon, advierte a las organizaciones que piensen detenidamente antes de implementar algoritmos. 

Explicabilidad IA

Aprendizaje automático los sistemas deben proporcionar transparencia. Esto puede ser un desafío cuando se usan modelos de IA poderosos, cuyas entradas, operaciones y resultados no son obvios para los humanos.

La explicabilidad se ha promocionado como una solución durante años, pero los enfoques efectivos siguen siendo difíciles de alcanzar.

“Las herramientas de explicabilidad del aprendizaje automático pueden estar sesgadas”, dice Saucedo. “Si no está usando la herramienta relevante o si está usando una herramienta específica de una manera incorrecta o no adecuada para su propósito, está recibiendo explicaciones incorrectas. Es el paradigma de software habitual de basura que entra, basura que sale”.

Si bien no existe una bala de plata, la supervisión y el monitoreo humanos pueden reducir los riesgos.

Saucedo recomienda identificar los procesos y puntos de contacto que requieren un humano en el circuito. Esto implica interrogar los datos subyacentes, el modelo que se utiliza y cualquier sesgo que surja durante la implementación.

El objetivo es identificar los puntos de contacto que requieren supervisión humana en cada etapa del ciclo de vida del aprendizaje automático.

Idealmente, esto asegurará que el sistema elegido sea adecuado para el propósito y relevante para el caso de uso.

Alejandro Saucedo está discutiendo los sesgos de la IA el 16 de julio en la Conferencia TNW
Alejandro Saucedo discutirá los sesgos de la IA el 16 de julio en la conferencia TNW

Los expertos en el dominio también pueden usar explicadores de aprendizaje automático para evaluar la predicción del modelo, pero es imperativo que primero evalúen la idoneidad del sistema.

“Cuando digo expertos en dominios, no siempre me refiero a científicos de datos técnicos”, dice Saucedo. “Pueden ser expertos de la industria, expertos en políticas u otras personas con experiencia en el desafío que se está abordando”.

Responsabilidad IA

El nivel de intervención humana debe ser proporcional a los riesgos. Un algoritmo que recomienda canciones, por ejemplo, no requerirá tanta supervisión como uno que dicta las condiciones de la fianza.

En muchos casos, un sistema avanzado solo aumentará los riesgos. Los modelos de aprendizaje profundo, por ejemplo, pueden agregar una capa de complejidad que causa más problemas de los que resuelve.

“Si no puede comprender las ambigüedades de una herramienta que está introduciendo, pero comprende que los riesgos tienen mucho en juego, eso le indica que es un riesgo que no debe correr”, dice Saucedo.

Los operadores de sistemas de IA también deben justificar el proceso organizativo en torno a los modelos que introducen.

Esto requiere una evaluación de toda la cadena de eventos que lleva a una decisión, desde la adquisición de datos hasta el resultado final.

 

Necesita un marco de rendición de cuentas

“Existe la necesidad de garantizar la rendición de cuentas en cada paso”, dice Saucedo. “Es importante asegurarse de que existan las mejores prácticas no solo en la etapa de explicabilidad, sino también en lo que sucede cuando algo sale mal”.

Esto incluye proporcionar un medio para analizar el camino hacia el resultado, los datos sobre los expertos del dominio involucrados y la información sobre el proceso de aprobación.

“Necesita un marco de responsabilidad a través de una infraestructura sólida y un proceso sólido que involucre a expertos en el dominio relevantes para el riesgo involucrado en cada etapa del ciclo de vida”.

Seguridad

Cuando los sistemas de IA fallan, la empresa que los implementó también puede sufrir las consecuencias.

Esto puede ser particularmente dañino cuando se usan datos confidenciales, que los malos actores pueden robar o manipular.

“Si se explotan los artefactos, se les puede inyectar un código malicioso”, dice Saucedo. “Eso significa que cuando se ejecutan en producción, pueden extraer secretos o compartir variables de entorno”.

La cadena de suministro de software añade más peligros.

Las organizaciones que utilizan herramientas de ciencia de datos comunes, como TensorFlow y PyTorch, introducen dependencias adicionales que pueden aumentar los riesgos.

Una actualización podría hacer que un sistema de aprendizaje automático se rompa y los atacantes pueden inyectar malware en el nivel de la cadena de suministro.

Las consecuencias pueden exacerbar los sesgos existentes y causar fallas catastróficas.

Saucedo recomienda nuevamente aplicar las mejores prácticas y la intervención humana para mitigar los riesgos.

Un sistema de IA puede prometer mejores resultados que los humanos, pero sin su supervisión, los resultados pueden ser desastrosos.

 

Deja un comentario

Ir arriba