La inteligencia artificial (IA) está cada vez más presente en nuestra vida diaria. A menudo la vemos como una tecnología perfecta, capaz de reemplazarnos en múltiples tareas de forma objetiva. Pero existen múltiples casos que demuestran que no está exenta de sesgos.
Un ejemplo que se hizo viral hace 5 años fue la confusión de la aplicación de Google al etiquetar como gorilas a unas personas afroamericanas.
Hace un par de años un estudio del MIT Medialab publicó un análisis de los sesgos de los sistemas de reconocimiento facial. Mostraba diferencias muy significativas por comunidades: sistemas que tenían una fiabilidad de más del 90 % para rostros de hombres blancos, la tenían del 75 % para mujeres de piel oscura.
Hace pocas semanas se hicieron públicos sesgos en la tecnología de reconocimiento facial de Amazon. La empresa tomó la decisión de vetar el uso de su sistema por parte de la policía.
Pero este tipo de sesgos no son patrimonio exclusivo del reconocimiento de imágenes. Está también presente en los traductores automáticos donde los prejuicios de género son fácilmente detectables.
Existe una gran preocupación en el ámbito de la computación respecto a los sesgos en IA. En este artículo revisaremos las causas y las acciones que se están llevando a cabo al respecto.
Sesgos racistas de la inteligencia artificial
La IA requiere grandes volúmenes de datos para entrenar sus modelos predictivos. Por ejemplo, para que una máquina aprenda a detectar caras, le enseñamos muchas imágenes de caras y muchas imágenes de otras cosas que no lo son. La máquina aprende así a encontrar formas, colores y otros patrones visuales que son típicos en los rostros que le hemos enseñado y que no aparecen en las otras imágenes. A este proceso lo llamamos entrenamiento de un modelo, en este caso de un modelo de detección de caras.
Luego, dada una imagen nueva, la máquina usa el modelo para buscar estos patrones visuales faciales que ha aprendido. Si los encuentra, clasificará la imagen como una cara y si no, la descartará.
La máquina aprende qué es una cara a partir de las caras que le enseñemos. ¿Qué pasa entonces si solamente le enseñamos rostros de personas blancas?
El resultado será un sistema que solo será capaz de detectar caras de gente blanca. Es imposible que pueda detectar caras de otros tonos de piel correctamente y con la misma fiabilidad porque la máquina no ha visto la diversidad real de los rostros humanos. En este caso decimos que el modelo estará sesgado hacia caras de personas blancas.
El problema es, por tanto, que la máquina ha aprendido a partir de una muestra de ejemplos que está sesgada y, en consecuencia, aprende a clasificar de forma sesgada.
Sexismo en los traductores de texto
Pasa algo parecido con los sesgos de género en los traductores automáticos. Para entrenar a estos programas se usan grandes cantidades de textos.
Desafortunadamente, en una sociedad con sesgo de género como la nuestra, este se ve reflejado en los textos: en las novelas, por poner un ejemplo, se habla más de médicos hombres que de médicos mujeres. Los traductores automáticos aprenden que el médico es un hombre y no una mujer.
Los datos se adquieren habitualmente mediante robots web que rastrean grandes volúmenes de imágenes de forma automática. Si los recursos disponibles en internet tienen sesgo, también lo tendrán los datos recolectados y este sesgo se verá reflejado en el clasificador, como hemos explicado.
Además, el perfil de los investigadores e ingenieros también está sesgado, y esto también añade una complicación más a la detección de los errores. Por ejemplo, si un investigador o investigadora entrena un sistema para detectar caras, lo primero que hará es testearlo con una base de datos, que también estará sesgada, y por lo tanto no permitirá detectar todos los sesgos en el clasificador.
Además de esto, es probable que también pruebe el clasificador con imágenes de ella misma o de él mismo, por la pura curiosidad de ver la respuesta del modelo ante su rostro o para verificar que la tecnología está funcionando. La cuestión es que el perfil prototípico de los investigadores e ingenieros actuales en tecnología es el de un hombre blanco.
Por tanto, a no ser que se verifique explícitamente y cuidadosamente si la tecnología funciona con personas diversas, es desafortunadamente fácil que no se detecten los sesgos. Este es uno de los motivos por los cuales es muy importante que haya diversidad entre los investigadores e ingenieros y que las imágenes muestren a personas de diferentes culturas, nacionalidades, colores de piel e identidades sexuales. De esta forma, la IA que se cree tendrá en cuenta una sociedad diversa.
En resumen, los sesgos en los datos que se usan y la falta de diversidad entre los investigadores son algunos de los factores que contribuyen a crear una IA que no es justa, pero no son los únicos.
¿Qué se puede hacer al respecto?
A la vista del impacto negativo que pueden tener estos problemas de la tecnología para la sociedad, se están tomando varias acciones.
El primer paso es dar visibilidad a estos problemas de sesgo y tomar conciencia de que existen. Los casos de sesgos de los que hemos hablado son solo algunos ejemplos. Hay muchos más. Y muchos de los sesgos existentes son muy difíciles de detectar.
Hay que ser muy prudente a la hora de usar tecnologías para no cometer injusticias o perjudicar a los usuarios. En el futuro es muy probable que las tecnologías basadas en IA estén en todas partes:
- En la conducción automática de vehículos, que tendrán que tomar decisiones mediante detección y reconocimiento de personas.
- En el sector de la salud, para diagnosticar enfermedades o monitorizar la evolución de los pacientes.
- En servicios financieros, donde servirán para hacer estudios de riesgo.
- En educación, para adaptar de forma personalizada la metodología docente y el currículum.
No podemos permitir que esta tecnología ubicua esté sesgada o que tenga prejuicios basados en nuestros propios sesgos infundados.
Proyectos y normas para evitar el problema
Hay muchas iniciativas para detectar sesgos y hacerlos visibles, entender cómo afectan a los clasificadores, hacer investigación para encontrar soluciones y crear regulaciones para no permitir que tecnologías sesgadas perjudiquen a las personas.
Cada vez vemos más congresos en este ámbito que incluyen el tema de Fairness in AI (traducido como justicia en IA), que presta atención al tipo de problemas y riesgos de los que hemos hablado.
También se ofrecen cursos o talleres específicos sobre este tema en las principales conferencias de IA. Por ejemplo, la conferencia Computer Vision and Pattern Recognition ofreció recientemente un tutorial al respecto.
Una posible solución que se está estudiando es desarrollar sistemas de IA que sean interpretables y que den explicaciones sobre las decisiones que toman –explainable AI, en inglés–. De esta forma sería más fácil evaluar si la decisión que toman es aceptable o no. La justicia en IA es también un tema popular en los congresos internacionales, que incluyen a menudo talleres y charlas sobre ello.
Por otro lado, cada vez hay más cursos y recursos de formación en abierto sobre ética, sesgo y justicia en IA. Algunos ejemplos son los cursos ofrecidos por la plataforma de formación online Coursera.
Además, vemos cómo muchas universidades ya incorporan cursos de ética en los programas académicos de Ingeniería Informática. A su vez, empresas como Microsoft y Google (son solo dos ejemplos) también elaboran y publican sus principios para desarrollar IA con responsabilidad.
Finalmente, se está invirtiendo más dinero para hacer investigación sobre justicia en inteligencia artificial. Algunos ejemplos son las ayudas dentro del programa de Fairness in AI de la Fundación Nacional para la Ciencia estadounidense.
También se están creando documentos oficiales de buenas prácticas como la guía ética para para el uso de la inteligencia articifial de la Unión Europea.
Sobre la autora y el autor
Ágata Lapedriza, Profesora, UOC – Universitat Oberta de Catalunya y David Masip Rodó, Profesor de los Estudios de Informática Multimedia y Telecomunicación, y director de la Escuela de Doctorado, UOC – Universitat Oberta de Catalunya
Este artículo fue publicado originalmente en The Conversation. Ir al artículo original.