El banquero robótico: ética e IA en el sector financiero

Los sesgos algorítmicos pueden generar problemas de marca, y hay que ser proactivos en evitarlos

Noviembre de 2019, Jamie Heinemeier Hansson utiliza su teléfono para ver las funcionalidades de las nuevas Apple Cards que acaban de adquirir ella y su marido. Tras navegar a través de la aplicación, contempla asombrada una situación que no logra explicarse. Jamie ha tenido crédito en Estados Unidos más tiempo que su marido David, nunca se ha atrasado con los pagos, no tiene deudas y, desde su matrimonio, comparte sus cuentas con su cónyuge. Sin embargo, el límite de crédito de David es 20 veces superior.

¿El resultado de esta historia? Las autoridades de Nueva York investigan a Apple y Goldman Sachs, socio de la firma de la manzana en este lanzamiento, acusados de usar algoritmos sexistas. Esta crisis reputacional pone de manifiesto las preocupaciones que expertos como Bill Gates, Elon Musk y Steve Wozniak han mostrado sobre las amenazas de la inteligencia artificial para los humanos.

Por ejemplo, la extracción de patrones basada en el procesamiento del lenguaje natural podría llevar también a que la inteligencia artificial (IA) encontrase que quienes tienen errores gramaticales son más propensos a no pagar las deudas. Esto contribuiría a la discriminación de personas con menor nivel educativo, aunque dicha característica no tenga un efecto causal en el cumplimiento de las obligaciones de pago. Así, pese a las manifiestas ventajas de la IA (personalizar ofertas, reducir costes, realizar evaluaciones de riesgos, agilizar procesos, etc.), los sesgos algorítmicos podrían generar problemas de marca.

Pero el uso de las nuevas tecnologías ya no es una opción, sino casi un imperativo para mejorar la precisión y la eficiencia. La IA ha comenzado ya a reemplazar a los tomadores de decisión en las líneas comerciales de las entidades, abarcando desde tareas predictivas, como la detección de fraudes y la gestión de riesgos, hasta las que suponen interacción con los clientes, como el asesoramiento patrimonial o sobre la idoneidad de un seguro. Es entonces cuando hablar de ética digital se convierte en una necesidad.

Las leyes de la robótica

Hay tantas definiciones de ética cómo filósofos. No pretendo hablar aquí de la dicotomía objetivismo/relativismo o de los cambios en la reflexión moral debidos al giro lingüístico. Digamos, desde una particular interpretación de Aristóteles, que la ética se dice de muchas maneras.

Pero estamos inmersos en una red de relaciones de donde surge una responsabilidad hacia los otros. Dado el impacto de la digitalización, es necesario pensar sobre lo correcto y establecer normas de conducta, más que determinar con exactitud lo que está bien, ya que eso cambia con el tiempo. Esta cuestión, como hemos visto, es inherente a los proyectos de IA y más aún en el sector financiero, por lo que ya se están tomando medidas.

Un ejemplo son las obligaciones que impone el Reglamento General de Protección de Datos a las instituciones financieras para el uso adecuado de los datos. Asimismo, la Comisión Europea publicó en 2018 unas directrices éticas para los proyectos de IA, que debían contemplar el respeto a la autonomía humana, la prevención del daño, la equidad y la explicabilidad como principios fundamentales. Del mismo modo, en 2021 publico la Artificial Inteligence Act, que fija sanciones por infracciones éticas que pueden llegar hasta los 30 millones de euros o un 6% de la facturación.

Pero, aunque debemos apoyarnos en la legislación, no podemos limitarnos al mero cumplimiento normativo, sino que hemos de ser proactivos. Este enfoque, basado en atender a nuestros grupos de interés y anticiparnos a sus necesidades, es lo que en las compañías tecnológicas llamamos Human Centered Design (diseño centrado en las personas).

En cualquier implementación, diseño o desarrollo, debe incluirse la ética como parte fundamental, pues puede haber consecuencias no deseadas, como las derivadas de una IA que toma decisiones autónomas. Pero también es posible realizar esta reflexión sobre iniciativas terminadas. En este sentido, es importante que las distintas entidades comprendan mejor cómo se comparten y usan los datos personales a la hora de personalizar sus servicios con esta tecnología.

Cada proyecto es distinto, pero debe incluir un mapeo de alto nivel de las funcionalidades y datos en toda la cadena de valor y un informe sobre estándares relevantes, regulaciones emergentes y mejores prácticas. Según las características de cada iniciativa, podríamos inferir, por ejemplo, que las conclusiones de ciertos algoritmos deberían estar supervisadas por personas.

La clave para tener un impacto positivo es garantizar que las herramientas y frameworks de desarrollo éticos estén integrados en la estrategia empresarial y los proyectos de tecnología para que los cambios se mantengan en el tiempo. En definitiva, se trata de implementar un modelo de ética digital en estado puro que sirva como hoja de ruta para la toma de decisiones morales a todas las empresas que verdaderamente crean en todo lo que implican estas dos palabras.

Carlos Morón es director de Sopra Steria Next