Los prejuicios raciales de los algoritmos hicieron su primera víctima

O al menos el primero que se supo: es un hombre negro llamado Robert Julian-Borchak Williams, y un ordenador lo envió a una prisión de Detroit como inocente.

El problema del racismo de los algoritmos, en particular los de reconocimiento facial también utilizados por los organismos encargados de hacer cumplir la ley, se ha abordado durante años. Y ahora son algunos de los estudios que han demostrado que estas herramientas tienen un prejuicio contra las minorías étnicas de Occidente; cuán cortos, para ser breves, son precisos solo cuando se trata de reconocer a las personas blancas, especialmente si son hombres.

Estos estudios, y las consecuentes posturas políticas , a menudo se han aceptado con escepticismo : ¿cómo un algoritmo que explota las estadísticas tiene prejuicios raciales ? Obviamente, los sistemas de aprendizaje profundo subyacentes al reconocimiento facial no están específicamente diseñados para ser así. El problema es, en todo caso, que nuestra sociedad es tan intrínsecamente (y a menudo inconscientemente) racista que ni siquiera se da cuenta de que ha incorporado sus prejuicios en los algoritmos que desarrolla.

Esto es exactamente lo que sucede con los algoritmos de reconocimiento facial , entrenados con imágenes de archivo, por ejemplo, las existencias de las agencias de fotografía, compuestas principalmente por hombres blancos (incluso si la situación está cambiando gradualmente). ¿Resultado? Inevitablemente, las herramientas de reconocimiento facial serán muy precisas cuando se trata de reconocer a los hombres blancos, menos precisas cuando se trata de hombres de diferentes orígenes étnicos y nada precisas cuando las personas a ser reconocidas son, por ejemplo, mujeres negras.

Pero a medida que estos algoritmos son cada vez más utilizados por los agentes de la ley durante sus investigaciones, que los utilizan para identificar a los sospechosos filmados por cámaras de seguridad, era inevitable que tarde o temprano algo saliera mal .

Supongo que la computadora estaba equivocada

En enero de este año, le dice al New York Times , Robert Julian Borchak-Williams recibió una llamada de la policía mientras estaba en su oficina. Los agentes del orden le ordenaron que fuera a la estación de Detroit para ser arrestado. Pensando en una broma, Williams ignoró la solicitud y fue arrestado tan pronto como llegó a casa , frente a su esposa e hijas.

El cargo fue que robó algunos relojes en la tienda de lujo Shinola en octubre de 2018, por un total de $ 3,800. En el escritorio de los agentes que lo interrogaban había tres marcos de cámaras de vigilancia. Tan pronto como miras las fotos borrosas, la reacción de Williams fue inmediata: "Este no soy yo, ¿crees que los hombres negros son todos iguales?" .

Los agentes no necesariamente pensaron eso. Por otro lado, el algoritmo de reconocimiento facial responsable de comparar las imágenes guardadas por las cámaras con las bases de datos disponibles para la policía (que no solo usan fotos, sino también, para ejemplo, los del carnet de conducir). Inmediatamente después del robo, las imágenes tomadas por las cámaras fueron enviadas a un investigador contratado por la tienda que, después de seleccionar algunas, las envió a la policía de Detroit. Aquí, cinco meses después, el oficial de imágenes digitales subió una " imagen probatoria " a la base de datos. El algoritmo comenzó a buscar una correspondencia con su archivo.49 millones de imágenes .

Entre los partidos obtenidos, también había una foto de la licencia de Williams . Luego, el informe se envió a los agentes que se ocuparon del caso, sin embargo, indicando que solo era una " pista de investigación " . El documento destacó desde el principio que la correspondencia encontrada "no era una identificación, sino solo una pista que no podía conducir a un arresto" . Los agentes debían investigar , escuchar testigos, averiguar si Williams llevaba uno de los relojes robados y analizar los teléfonos celulares. En resumen, encuentre otra evidencia sobre la base de esta pista.

Evidentemente, sin embargo, confiaron en la computadora . Y así, cuando en la sala de interrogatorios Williams colocó los marcos al lado de su cara, mostrando cómo era una persona diferente, uno de los agentes solo pudo comentar: "Creo que la computadora estaba equivocada" . A pesar de esto, Williams tuvo que pasar 30 horas en prisión y pagar una fianza de mil dólares. El juicio se cerró seis meses después. Las hijas de Williams, sin embargo, todavía están en estado de shock después de presenciar el arresto de su padre.

Presunción de culpa

Durante algún tiempo, estos algoritmos han sido acusados por varias razones: el uso cada vez más extendido que se hace de ellos, a menudo incorporándolos directamente a las cámaras dispersas en ciudades grandes y medianas, corre el riesgo de erosionar nuestra privacidad y establecer una cultura de vigilancia . No solo eso: la gran cantidad de falsos positivos corre el riesgo de revertir los fundamentos legales, haciéndonos pasar de la presunción de inocencia a la presunción de culpa . Como sucedió en el caso de Williams, en resumen, somos nosotros quienes debemos demostrar que somos inocentes , que no somos las personas filmadas en video.

Sin embargo, algo comienza a moverse: en ciudades como San Francisco, Oakland, Somervile (Massachusetts) y otras , se ha prohibido el reconocimiento facial . En Europa se ha debatido sobre la posibilidad de suspender el uso hasta que se considere seguro. Algunos de los gigantes que emplean estos sistemas, como IBM, Microsoft y Amazon , han anunciado que han detenido o al menos pausado la venta a la policía de sus sistemas.

Pero eso no es suficiente: "Estos gestos son en su mayoría simbólicos , ya que las empresas mencionadas no son los principales actores del sector", explica Nyt . "La tecnología utilizada por los departamentos de policía es proporcionada por compañías con nombres menos conocidos, como Vigilant Solutions, Cognitec, Nec, Rank One Computing y Clearview AI " .

En el caso que involucró a la policía de Detroit y Robert Julian-Borchak Williams , el software utilizó componentes explotados del gigante japonés NEC y Rank One Computing. Dos algoritmos que en 2019 se han sometido, junto con otros cien, a un estudio federal de EE. UU. En el que se ha demostrado que los sistemas de reconocimiento facial son de 10 a 100 veces menos precisos cuando tienen que reconocer rostros afroamericanos o asiáticos en comparación con los rostros Caucásicos

Era inevitable que sucediera lo que le sucedió a Williams. Y es muy probable que no fuera realmente el primer caso , sino solo el primero del que hemos llegado a saber: “Hemos estado tocando las alarmas en el reconocimiento facial durante algún tiempo, ya que amenaza la privacidad cuando funciona y amenaza al racismo cuando no funciona " , explicó Phil Mayor, abogado de la Unión Americana de Libertades Civiles. "Sabemos que estos eventos están sucediendo, pero es difícil aprender sobre ellos porque las personas generalmente no entienden que son víctimas de un reconocimiento facial que no ha tenido éxito" .

No es, como podría pensarse, un problema estadounidense. Por el contrario: incluso en España, esta tecnología está avanzando a pesar de los rumores críticos que continúan aumentando. Como, por ejemplo, está siendo equipado con cámaras equipadas con reconocimiento facial, al igual que en Madrid (donde se han instalado mil cámaras) se están probando sistemas que son capaces de reconocer el "comportamiento sospechoso" . A pesar de los estudios, las críticas y ahora también los testimonios directos muestran cómo estos sistemas simplemente no funcionan, su progreso parece imparable. Lo que falta antes, incluso aquí, algunos miembros de los grupos étnicos más discriminados debe enfrentar lo que Williams experimentó?