Y si en un ataque de furia le gritaba a Alexa, el asistente virtual de Amazon: “¡Sos una puta!”, la voz agradecía con humildad lo que tomaba como un halago. Y es que uno de los logros tecnológicos más importantes de la última década, un software que puede recibir órdenes por medio del lenguaje natural gracias a algoritmos de aprendizaje automatizado y que se encuentra instalado en millones de dispositivos alrededor del mundo, está cargado con el mismo sexismo rancio y patriarcal de siglos atrás.
Programando el prejuicio
Son los mismos prejuicios opresores que hacen que el software de reconocimiento facial acierte en el 98% de los rostros cis-masculinos pero no la pegue en el 100% de las identidades no binarias. Las más asombrosas novedades técnicas que suelen recibir la etiqueta pomposa de “inteligencia artificial”, repiten y perpetúan los estereotipos de los que queremos emanciparnos y consolidan la segregación de las minorías disidentes, esta vez escondiendo sus discursos de odio bajo los ropajes supuestamente objetivos de lo digital. ¿Es posible volver a las tecnologías actuales en herramientas de cambio social?
Por otro lado: no siempre es fácil o posible cambiar el género de nuestro asistente: Amazon, por ejemplo, no ofrece una voz masculina cuando se configura un nuevo dispositivo, mientras que Apple y Microsoft incluyen por default una voz femenina en sus dispositivos, que el 95% de sus usuarios decide mantener. Es interesante, sin embargo, que cuando habla en ciertos idiomas, Siri utiliza de forma predeterminada una voz masculina. Siri tiene voz masculina en árabe, francés, holandés e inglés británico.
La cosificación de Siri y Alexa
La aparición de Siri en los teléfonos iPhones lanzados en 2011 representó un hito tecnológico cuyo impacto aún vivimos, ya que por primera vez un asistente virtual comandado por voz era accesible a millones de usuarios. Este programa había comenzado en 2007 como un desprendimiento de un proyecto mayor de inteligencia artificial del instituto estadounidense SRI y no tardó en llamar la atención de las grandes compañías de Silicon Valley, siempre pendientes de cuáles podían ser las aplicaciones comerciales de estos desarrollos. Siri es un asistente que usa una interfaz que procesa el lenguaje natural y puede entender y responder en varios idiomas. Como está basado en sistemas de algoritmos de aprendizaje automatizado, ha mejorado muchísimo desde su lanzamiento, ya que aprende con cada nueva interacción y perfecciona su comprensión. El impacto que tuvo en los consumidores hizo que varios proyectos similares que estaban en danza se aceleraran y competidores de Apple lanzaran sus propios asistentes virtuales: como Cortana, de Microsoft, y Alexa, de Apple, en 2014. Si bien los tres productos tienen sus diferencias, también comparten muchos rasgos, como el haber sido bautizados con nombres femeninos y que su voz por default haya sido grabada por una mujer.
Siri fue bautizada por uno de sus creadores, el ingeniero noruego Dig Kittlaus, quien sugirió el nombre porque en nórdico significa “mujer hermosa que conduce a la victoria”. El asistente de Google se llama Cortana. No es mera coincidencia: en la saga de videojuegos Halo, Cortana es una inteligencia artificial encarnada en una mujer de piel azul y muchas curvas que recuerda a la reina egipcia Nefertiti;. Alexa, mientras tanto, surgió del estudio de nombres de mujeres que fueran fáciles de distinguir para los algoritmos y a su vez no muy populares para evitar confusiones en los diálogos cotidianos. Jeff Bezos, el CEO de Amazon, estaba en contra de esa denominación y quería que las personas simplemente dijeran “Amazon” para interactuar con el software pero rápidamente fue disuadido por miembros de su equipo, quienes le explicaron que los usuarios se sentirían más cómodos interactuando con alguien con nombre de mujer.
Así, estas tres grandes compañías -junto con Google, que lanzó su producto en 2016 sin nombre pero con una voz por default femenina- tomaron por separado la misma decisión: que sus asistentes de voz, que hoy son usados por más de 4 mil millones de personas en todo mundo tenga nombre y personalidad de mujer. En las raras oportunidades en las que se intenta dar una explicación de estas coincidencia, los especialistas suelen dar razones históricas endebles, como que las primeras operadoras telefónicas hace cien años eran mujeres, o se menciona un estudio de mercado de 2011 que determinó que las voces femeninas “eran más suaves y tranquilizantes”. El especialista en interfaces humano-máquinas Clifford Nass incluso conjeturó, en un análisis sobre Siri, que la voz femenina es la que más escucha un feto y que por eso a un nivel subconsciente nos trae mayor paz dialogar con una mujer.
La voz del amo
Sin embargo, la realidad contradice las intuiciones de Nass y hay poco de pacífico en el vínculo que muchos usuarios establecen con «sus mujeres”: en los últimos años se multiplicaron los estudios que encontraron que personas de todo el mundo tenían un trato violento con sus asistentes virtuales de voz, que en ocasiones estaban programados para seguir con el juego, como cuando Siri respondía que deseaba sonrojarse cuando era llamada “bitch”. Luciana Benotti, profesora asociada de la Universidad Nacional de Córdoba e investigadora adjunta de CONICET, trabaja sobre la ética del procesamiento del lenguaje natural y no cree que sea una coincidencia que se estén descubriendo modos violentos de interacción con estos programas: “La feminización de los asistentes virtuales tiene consecuencias tangibles: las investigaciones demuestran que son objeto de abusos, sexuales y de otros tipos”.
No sé qué responder a eso
Afirmar que un asistente virtual es víctima de violencia o abuso no significa conceder que estas plataformas se sientan heridas o vulneradas sino llamar la atención sobre qué podría enseñarnos esto sobre el modo en el que nos relacionamos entre personas humanas. Por un lado es llamativo que estas plataformas, que se están multiplicando y con las que es común crear lazos de mayor intimidad que con otros dispositivos, son maltratadas si se perciben como mujeres. Estudios publicados el año pasado detectaron que era común que los usuarios hicieran comentarios sexistas y dieran órdenes denigrantes a sus dispositivos, incluso sabiendo que eran imposibles de cumplir: la intención parecía ser molestar a esa voz femenina y comprobar qué cosas estaba dispuesta a hacer para complacer. Estos pedidos son procesados e interpretados por las plataformas pero hay distintas estrategias programadas para ellos: mientras que algunos asistentes simplemente están programados para responder o decir que el comando no se comprende, en otras ocasiones se prestan al juego.
“¡Me sonrojaría si pudiese!” fue la frase que los programadores de Siri decidieron poner como respuesta a insinuaciones con la palabra “bitch”. La decisión quedó en el ojo de la tormenta el año pasado cuando UNESCO publicó una informe sobre tecnología y género que se llamó exactamente así (“I’d Blush If I Could”), forzando a que en la siguiente actualización de Siri se eliminara esa frase y se la reemplazara por un “No sé qué responder a eso”. Alexa, por su parte, hasta 2018 respondía «¡Gracias por el comentario!» cuando se le decía «puta» y ahora responde lacónica: “No estoy segura de qué es lo que esperás con esas palabras”.
Los asistentes virtuales, además, reciben nombre y personalidad femenina cuando son para tareas hogareñas y de asistencia personal pero si se trata de plataformas para pedir asesoría financiera o sobre ámbitos como el de los automóviles y las motos, por ejemplo, sus nombres y personalidades son masculinas. Los estudios culturales feministas señalaron ya hace muchos años cómo los entornos artefactuales están generizados pero la fascinación que nos producen las tecnologías digitales de inteligencia artificial en ocasiones nos hace olvidar cómo ellas también consolidan las normatividades de género.
La prevalencia de valores hetero-cis-patriarcales en la tecnología de inteligencia artificial va más allá de los asistentes virtuales y alcanza a muchos dispositivos, como los sistemas de reconocimiento facial, que utilizan algoritmos de aprendizaje automatizado para analizar imágenes tomadas por cámaras con el objetivo de precisar nuestra identidad. A diferencia de lo que sucede con otras técnicas de identificación de personas basadas en datos biométricos -como los sistemas a partir de huellas dactilares, voz o imágenes del iris- es un procedimiento que no requiere un consentimiento explícito. Cuando se procesa las imágenes tomadas por las cámaras, que están omnipresentes en edificios públicos y privados además de en calles de todo el mundo y en servicios de transporte como el subterráneo, el sistema crea perfiles exclusivos de cada individuo utilizando datos cuantificables, como la distancia que hay entre los ojos de una persona o la distancia desde la frente hasta la barbilla. Así se crea una suerte de mapa facial que es contrastada con una base de datos de imágenes ya obtenidas hasta hallar coincidencias. Las nuevas imágenes que nos son tomadas por estos mecanismos se incorporan a su vez a esas bases de datos, haciendo que el sistema se alimente a sí mismo.
Tu cara no me suena
La posibilidad de identificar personas a partir de sus rostros es el sueño cumplido de aquellas personas que sostienen que la seguridad es un objetivo deseable que se logra con mayor vigilancia y control. Hoy el registro nuestro rostro está presente en archivos públicos y privados, que se van engrosando cada vez que renovamos nuestra licencia de conducir o ingresamos a un edificio. Bases de datos con millones de rostros están a la venta en el mercado negro de la deepweb, tal como sucede con números de tarjetas de créditos o correos electrónicos. La tecnología de reconocimiento facial avanzó muchísimo en los últimos años a pesar de la oposición y resistencia de numerosos sectores, desde los activismos más tradicionales hasta las asociaciones académicas. Hoy es considerada una de las herramientas de política de seguridad más difundidas y populares, un logro obtenido en parte por los incontables informes televisivos sobre arrebatos o asaltos capturados por estos dispositivos o incluso reality shows íntegramente producidos con el material obtenido por estas cámaras. Esto colaboró a instalar, en el discurso público, la noción de que es una herramienta altamente eficiente y que, por su condición artefactual, está libre de los prejuicios con los que las fuerzas de seguridad hostigan y violentan a poblaciones determinadas: sólo el que tenga algo que ocultar debe temer a ser todo el tiempo filmado. Sin embargo, son numerosos los casos que demuestran que las cámaras y sus sistemas están llenos de ideología.
Uno de los problemas más acuciantes para las disidencias es que los sistemas de reconocimiento facial no han sido entrenados para reconocer a personas transgénero y no binarias, excluyéndolos por completo o asignándoles un género incorrecto. De acuerdo a un amplio estudio de la Universidad de Colorado Boulder, quedó demostrado que los principales sistemas de reconocimiento facial (aquellos basados en tecnologías prestigiosas y populares como Rekognition, Watson, Azure y Clarifi), reconocían correctamente a mujeres cisgénero en 98.3% de los casos y a hombres cisgénero un 97,6%. Sin embargo, mostraba errores del 38% con hombres trans y sencillamente no tenía categorías para identificar personas no binarias, así que en el 100% de los casos esas identidades de género quedaban sin reconocer.
Aquí no se trata sólo de que los rostros no puedan ser identificables en casos de videovigilancia tradicional, sino que estos sistemas están actualmente presentes en muchos otros ámbitos, como el desbloqueo de los teléfonos con el uso de cámaras frontales; la identificación en aeropuertos sin necesidad de revisar pasaportes o, en tiempos de pandemia, verificación de la identidad antes de rendir un examen a distancia. Los estudios indican que el mercado para esta tecnología aumentará a más del doble para 2024, así que su cisbinarismo no se trata de un tema menor, ya que puede traer consecuencias reales y tangibles para estas poblaciones… ¿cómo reaccionará el sistema de seguridad de un aeropuerto cuando no pueda reconocer a una persona? ¿quién garantizará la educación de aquellos que no pueden ser correctamente identificados?
La conclusión es obvia: a pesar de todos sus avances y la promesa de que será “objetiva”, la tecnología de reconocimiento facial fue entrenada para poder «ver» sólo dos géneros y para atar a perpetuidad a una persona con el género con el que fue identificada por el estado. La tecnología más avanzada y futurista vuelve a mostrar, sin embargo, que mantiene los mismos prejuicios y cegueras del pasado… ¿será que no hay futuro para las disidencias?
Frente a este escenario, no faltarán quienes digan que no se trata de un problema de los algoritmos y los dispositivos, sino de quienes lo usan: se trata del viejo lema de que la tecnología “no es ni buena ni mala, sino que depende de cómo se lo use”. Las reflexiones filosóficas, sin embargo, señalan que esta idea tan presente en el discurso público no es más que una quimera: toda tecnología refleja, desde su misma concepción, determinados valores y no es posible pensar que haya artefactos neutros en este sentido.
“No creo que sea posible una tecnología sin valores, porque es un producto humano creado para su aplicación y eso implica intereses específicos. En particular, intereses de mercado. Y desde mi punto de vista el mercado tiene muchos modos de acumulación vinculados no sólo al género. Se amplifican los alcances de la capacidad humana pero no se distribuyen colectivamente ni los objetivos ni los resultados”, explicó la filósofa Diana Maffia. Según su visión existen tecnologías disidentes pero no siempre son las herramientas elegidas por los mismos grupos excluidos: “Se trata de ver si esas disidencias no son también capturadas por la concentración de las grandes empresas tecnológicas. No hay más que ver cómo las feministas usamos las tecnologías de la comunicación para nuestras campañas pero lo hacemos a través de los productos de compañías gigantes y pocas veces con software libre. La tecnificación del trabajo no implicó aún mejorar los sesgos de las relaciones laborales haciéndolas más inclusivas para las diversidades de género. En un sentido positivo, diría que los géneros también se construyen con tecnologías y que la apropiación crítica permitió una ampliación de las corporalidades diversas y sus expresiones de género”.
Si la neutralidad valorativa en la tecnología es imposible, entonces quizá haya llegado el momento de abrazar esos sesgos y darle la bienvenida a los prejuicios para poder reconocerlos y usarlos a nuestro favor. Porque sostener que los artefactos no son “ni buenos ni malos” termina siendo la mejor estrategia para evitar dar discusión más profunda acerca de los valores no sólo técnicos, sino también éticos y políticos que hay en juego en los dispositivos, plataformas y algoritmos que hoy nos rodean en todos los ámbitos. Como indica el filósofo Tobías Schleider, “el análisis de una tecnología aplicada se vacía de sentido si no se repara en su aplicación y en los valores que la permean desde su propia génesis. Uno de los riesgos de conceder la supuesta neutralidad de la tecnología es la cancelación del debate en torno a los fines que perseguimos como sociedad al adoptarla y, con ello, la dificultad de fortalecernos como una ciudadanía digital con sentido crítico”.
En la visión de Benotti, el cambio llegará cuando se comience a diseñar desde la diversidad:“No hay dudas de que urge un cambio en el modo en el que se desarrollan estos programas. Yo creo que habría que trabajar en la diversidad de los equipos de trabajo para garantizar más puntos de vista. Es una de las banderas que defendía en Google Timnit Gebru, una científica que trabajaba en sesgos de algoritmos y minería de datos pero que recientemente fue despedida de manera injusta. No se trata de un tema menor: por ejemplo hoy hay investigaciones que indican que si el género de los asistentes virtuales es neutro disminuyen los abusos y el acoso sexual que sufren. Y no podemos echarle la culpa a “los datos” sobre la feminización de las asistentes virtuales porque eso fue una decisión de diseño de las empresas”.