Un buscador para conocer qué algoritmos impactan en tu vida

Eticas Foundation quiere con este proyecto dar transparencia a los sistemas de inteligencia artificial que usan empresas y gobiernos. La herramienta recoge ya 57 algoritmos y espera superar los 100 en unos meses

Getty Images

Cada vez hay más algoritmos (programas que utilizan inteligencia artificial) en empresas e instituciones públicas tomando decisiones importantes sobre la vida de las personas: si consiguen o no un crédito, si les atienden más rápido en un hospital, si entran o no en una universidad, si les contratan o despiden de una compañía... “Y lo curioso es que apenas hay conciencia de su existencia, pese a que las decisiones que toman afectan a temas nada banales”, cuenta Gemma Galdon, fundadora de Eticas Foundation.

Esta entidad sin ánimo de lucro, que promueve el uso responsable de algoritmos y sistemas de inteligencia artificial, ha creado el Observatorio de Algoritmos con Impacto Social (OASI) y hoy presenta un buscador que permite saber más sobre estas herramientas que Gobiernos y empresas utilizan para tomar decisiones importantes de manera automatizada sobre ciudadanos de todo el mundo.

“Pensamos que crear este buscador para conocer los algoritmos que se están usando es un modo de introducir transparencia y ayudar a la población a recuperar cierta capacidad de control”, dice Galdon, que apunta que con este buscador se podrá saber quién ha desarrollado los algoritmos, quién los usa, su ámbito de aplicación (tanto geográfico como sectorial), si han sido auditados, sus objetivos o su impacto social y las amenazas que representan. Eso siempre que las entidades hayan hecho públicos los datos necesarios para medir su impacto por grupos, algo que no siempre ocurre. "Recogemos tanto la información que hemos producido nosotros, porque también auditamos algoritmos, como la de otros investigadores de todo el mundo".

La fundadora de Eticas Foundation recuerda que hay mucha controversia y que muchos algoritmos han generado quejas. En España, dice, el que ha provocado más polémica es Bosco, el algoritmo del bono social del Gobierno, usado por las eléctricas, que negaba la ayuda a personas que tienen derecho a ella. La situación provocó que Civio presentara en junio de 2019 un recurso contencioso-administrativo ante la negativa del Consejo de Transparencia de obligar a hacer público el código de un programa que decide quién resulta beneficiario del bono social eléctrico.

Amazon también se vio obligada a corregir el pasado junio el algoritmo que utiliza para medir la productividad de sus empleados, después de que un informe del Departamento de Trabajo e Industrias del Estado de Washington diera la razón a sus trabajadores, que habían denunciado que la herramienta les penalizaba incluso por ir al baño, ejerciendo tal presión sobre ellos que se había convertido en un factor decisivo en sus lesiones musculoesqueléticas.

Los algoritmos de Facebook han recibido múltiples críticas en los últimos días tras las filtraciones de la ex empleada de la red social, Frances Haugen, quien denunció que la compañía antepone sus beneficios a la seguridad de sus usuarios y oculta que sus plataformas son nocivas para los menores, fomentan la división social y debilitan la democracia. 

Pero la lista de los algoritmos controvertidos es muy extensa. Como el que llevó el pasado enero al Hospital Stanford Medicine a excluir de las primeras vacunas contra el Covid-19 a los médicos residentes que se encontraban en contacto con pacientes covid priorizando a otros profesionales sanitarios que estaban realizando tareas de atención telefónica. O los utilizados por las empresas de delivery para organizar el trabajo de sus riders.

Por el momento, OASI recoge a 57 algoritmos, pero espera superar los 100 en los próximos meses. Entre ellos, hay cuatro de aplicación exclusiva en territorio español, y una docena más de grandes compañías como Google, Facebook, Twitter, Netflix, Uber y Microsoft que tienen impacto en España. Entre los primeros están Veripol, desarrollado para que el Cuerpo Nacional de Policía detecte denuncias falsas, y RisCanvi, que ayuda a los jueces en Cataluña a calcular el riesgo de reincidencia de los presos para que puedan acceder o no a la libertad condicional. Pronto estarán también en el buscador, VioGén, el algoritmo usado por el Ministerio del Interior para asignar riesgo a las mujeres que buscan protección tras sufrir violencia machista, y el citado Bosco.

Galdon asegura que hay mucho mito sobre que los algoritmos no se pueden auditar si las empresas o las instituciones no dejan acceder a su código. “Se puede hacer en función de sus impactos; haciendo auditoría inversa. Precisamente, ante la falta de transparencia sobre el funcionamiento de muchos de los algoritmos, en la fundación hemos puesto en marcha un proyecto para hacer este tipo de trabajo. Es verdad que es un proceso laborioso, que necesitamos de medios técnicos y muchas veces también movilizar a usuarios, pero cada vez hay más actores como nosotros que estamos empezando a aportar luz a este sector”.

Según esta experta, la discriminación que generan estos algoritmos suele producirse por edad, género, raza o discapacidad. “Si bien la mayoría de los desarrolladores de estos sistemas no discrimina intencionalmente, al crearlos a partir de su base de conocimientos única, se producen sesgos no deliberados, que se amplifican y vuelven a enseñar al sistema cuando no hay reparación porque, a primera vista, parece que están funcionando como se esperaba”.

El buscador del Observatorio de Algoritmos con Impacto Social llega pocos meses después de que la Comisión Europea anunciara el pasado abril una regulación estricta de la inteligencia artificial, que exigirá, entre otras cosas, una serie de procedimientos más estrictos a la hora de desarrollar algoritmos para asegurar que los datos son correctos, fiables y no provocarán sesgos. También llega después de que el Gobierno español incluyera en la Ley de Riders que la representación legal de los trabajadores deberá ser informada de “las reglas que encierran los algoritmos que pueden incidir en las condiciones laborales por las que se rigen las plataformas”.

La presidenta de Eticas Foundation, Gemma Galdon, asegura que en España hay legislación desde hace muchos años que establece que todos los sistemas que tomen decisiones automatizadas sobre los ciudadanos deben ser auditados. “También la legislación europea exige un estudio de impacto de los mismos. El problema es que no se está haciendo. Hay un incumplimiento de las obligaciones; no tanto de transparencia, porque nadie pide el código, sino de rendición de cuentas de estos sistemas”. “La Administración y muchas compañías siguen haciendo oídos sordos a las peticiones de transparencia, a pesar de que existen métodos de control y auditoría de algoritmos”.