claves para entender los usos y riesgos de esta inteligencia artificial

La Justicia de la Ciudad Autónoma de Buenos Aires mantiene la suspensión del uso del Sistema de Reconocimiento Facial de Prófugos (SRFP) luego de que una audiencia con especialistas y representantes del Ministerio de Seguridad porteño determinara que todavía no hay acuerdo sobre cómo auditar esta tecnología. Se trata de una inteligencia artificial que, para muchos expertos, tiene problemas que han derivado en detenciones erróneas y es cuestionada en términos de privacidad y garantías en diversos países.

El sistema, implementado para detectar e identificar a prófugos de la Justicia y delincuentes en 2019, demostró sus falencias cuando un ciudadano pasó casi una semana preso porque lo confundieron con un delincuente que tenía su mismo nombre, Guillermo Ibarrola. A fines del año pasado, el tema volvió a estar en agenda, esta vez nacional, cuando el Gobierno de Javier Milei apuntó a implementar esta tecnología para identificar a manifestantes y penalizarlos con el retiro de planes sociales.

A partir de un pedido de acceso de la información pública realizado en 2019 por el Observatorio de Derecho Informático de la Argentina (O.D.I.A.), y luego una acción de amparo, se dieron una serie de procesos legales empujados también por el Centro de Estudios Legales y Sociales (CELS) y la Fundación Vía Libre que desembocaron en la suspensión del uso del reconocimiento facial en territorio porteño, desarrollado por la empresa de software Danaide S.A.

Hace dos semanas, una audiencia intentó definir de qué manera se iba a auditar el sistema, sin llegar a un acuerdo, pasando a un cuarto intermedio y tomando la decisión de mantener su bloqueo. Acá, qué implica el sistema, qué riesgos representa y qué explica el Gobierno porteño para justificar su reactivación.

La tecnología de reconocimiento facial se basa en verificar la identidad de una persona a partir de sus rasgos faciales. Para esto, se analizan características únicas como la forma de la nariz, la distancia de los ojos o la forma de los pómulos.

“Se entiende por reconocimiento facial a aquella tecnología que permite identificar o verificar, mediante un proceso automatizado, a una persona a través de una imagen, video o cualquier elemento audiovisual de su rostro”, explicó a Clarín María Luján Gallego, abogada y especialista en Protección de Datos del Estudio Brons & Salas.

Tiene diversos usos, desde algunos cotidianos como aplicaciones como Mercado Pago, donde se apunta a validar una identidad (en el caso de estas aplicaciones, como medidas de seguridad más robustas que una contraseña o PIN). A nivel estatal, su uso tiene que ver con “prevenir la comisión de delitos, verificar si una persona cuenta con antecedentes penales o verificar, ante la comisión de un delito, si la persona o grupo de personas han tenido injerencia en el hecho en cuestión”, agrega Gallego. En los accesos a los estadios, por ejemplo, se usa un tipo de sistema para lo que se conoce como Tribuna Segura 2.0 y que tiene como objetivo impedir el ingreso de personas con antecedentes.

Clarín consultó al Gobierno de la Ciudad cómo funciona esta tecnología SRFP en suelo porteño. “La tecnología empeñada para el reconocimiento facial que analiza imágenes de una base de datos pública llamada CONARC (Consulta Nacional de Rebeldías y Capturas) es gestionada por el Ministerio de Justicia y Derechos Humanos de la Nación, o por orden directa de una autoridad judicial competente. Esta base se actualiza diariamente y contiene registros de personas mayores de edad que están siendo buscadas por la justicia”, explicaron.

El uso, argumentan, está justificado en gran parte por los resultados: “Al momento de ser suspendido, el Sistema de Reconocimiento Facial de Prófugos había logrado detectar, circulando libremente por la Ciudad Autónoma de Buenos Aires, 1743 prófugos -sobre una base nacional de aproximadamente 40 mil-, incluyendo acusados de homicidio, robo y distintas modalidades de abuso sexual, entre otros delitos”.

Según explican, “sólo al detectar una coincidencia con el CONARC, el Centro de Monitoreo Urbano emite una alerta, generando una carta de servicio y notificando al personal policial para intervenir. Además, cabe destacar que el sistema se rige por la legislación que regula el Sistema Integral de Seguridad Pública de la Ciudad y está sujeto a auditorías por parte de la Defensoría del Pueblo”, agregaron, además de una comisión de la Legislatura también es parte del proceso de control del sistema.

Es esa auditoría el punto de discrepancia de estas tres organizaciones de la sociedad civil que impide que hoy el sistema pueda ser utilizado: “El uso de esta tecnología sin el adecuado marco normativo podría llegar a vulnerar o violar derechos personalísimos de los ciudadanos, como ser el de la privacidad, igualdad o discriminación”, advirtió Gallego.

La situación del ciudadano detenido por un error del sistema en Bahía Blanca funciona como caso testigo de que esta tecnología puede funcionar mal, llevando a privar de su libertad a un ciudadano inocente, o que el sistema puede tener sesgos que perjudiquen a la población. El punto de las organizaciones que se oponen tiene que ver con esto: auditarlo para saber exactamente cómo funciona y cómo está hecho este software.

En una verdadera odisea, Federico Ibarrola estaba volviendo de Tigre y al llegar a la estación de trenes de Retiro la policía lo capturó, luego de que el sistema de reconocimiento facial del gobierno de la ciudad de Buenos Aires lo identificara como el prófugo por un violento robo cometido en Bahía Blanca hacía tres años. “En lugar de cargar los datos del Guillermo Federico Ibarrola que había sido identificado como sospechoso por un testigo, se cargaron los de este hombre que es un homónimo”, habían explicado fuentes judiciales por aquel entonces.

“Debe hacerse un estudio pormenorizado con la intervención de todos los sectores que puedan verse involucrados a fin de resguardar los derechos de todas las partes que se verán involucradas en la implementación del sistema en cuestión. Evaluar riesgos, beneficio e implicancia de su puesta en marcha, instrumentar los medios necesarios para que la población tenga conocimiento de esta nueva herramienta a ser utilizadas. No se deben perder de vista los derechos individuales de los ciudadanos, los que no pueden ser vulnerados por el Estado”, advierte Gallego.

Debido a este tipo de casos, la jueza en lo Contencioso Administrativo de la Ciudad de Buenos Aires, Elena Liberatori, declaró la inconstitucionalidad del funcionamiento del SRFP implementado por el Gobierno porteño en septiembre de 2022, algo confirmado por la Sala I de la Cámara de Apelaciones, que envió todo a primera instancia para insistir sobre su auditoría para descartar que tenga sesgos raciales, étnicos o de género.

En este contexto, la audiencia de hace dos semanas tenía a las dos partes enfrentadas: el Gobierno porteño pidiendo que el sistema se reactive por un lado, y las entidades de la sociedad civil O.D.I.A., Vía Libre y el CELS por el otro.

Desde el Ministerio de Seguridad de la Ciudad aseguraron a este medio que están “desde el primer día a disposición de la jueza Liberatori, trabajando para responder a cada una de las medidas de prueba que la doctora solicitó”, entre ellas, “poner a disposición el software, informar a la ciudadanía y la sociedad civil del Sistema, colaborar con las pericias técnicas que llevarán adelante expertos de la Facultad de Ciencias Exactas de la UBA y generar un plan de trabajo que contemple todas las observaciones ciudadanas, judiciales, legislativas y de control que permitan utilizar el sistema con el fin de tener una Ciudad más segura”.

“El Ministerio de Seguridad porteño dijo que ellos estaban a disposición para todas las auditorías, así que pidieron activar el sistema y auditarlo en funcionamiento. Eso no prosperó, o sea que el sistema está apagado y no lo pueden volver a prender”, explicó Beatriz Busaniche, presidenta de la Fundación Vía Libre, quien participó de la audiencia.

“Hay un fallo de Cámara que está firme, que prohíbe la utilización del sistema de reconocimiento facial hasta tanto no se cumplan con las especificaciones legales de los mecanismos de ‘contralor’ [control]. El gran problema es quién y cómo hace la auditoría”, sumó Busaniche.

El estado actual: suspendido hasta nuevo aviso

El enfrentamiento entre las partes significa que hasta que no haya una auditoría sobre el software utilizado y su implementación, el sistema seguirá sin utilizarse. “La jueza Liberatori no aceptó ordenar la reimplementación del sistema mediante una simple auditoría de caja negra, que entendemos que sería insuficiente”, explicó a Clarín Tomás Pomar, presidente de O.D.I.A., la entidad que inició los reclamos en 2019.

Una auditoría de caja negra es una prueba de concepto para la que, sin develar los elementos informáticos del sistema, se hacen distintos testeos. “Es decir, no te dejan ‘ver’ cómo es que funciona pero te permiten hacer una prueba de que funciona. Para nosotros, ese puede ser un estándar en el mercado, pero no es apto para tecnologías críticas utilizadas por el Estado”, critica Pomar.

“Nosotros celebramos la decisión de la Justicia de elevar el nivel de auditoría requerido para esta tecnología de carácter crítico, celebramos también que se pida un plan de acción donde se compartan los datasets y el modelo de entrenamiento [de la IA] y creemos positivo que siga desconectado”, cerró el abogado especialista en privacidad y derechos de los ciudadanos.

“El debate político sobre el tema en Argentina es de una pobreza extrema, se parte del hecho de que cualquier tecnología es necesariamente positiva y útil sin evaluar su impacto como corresponde. Afortunadamente, la sociedad civil accionó a tiempo y la justicia estuvo a la altura de las circunstancias poniendo límites para defender no sólo el derecho a la libre circulación, sino con una nota importante en relación a las compras públicas que hace el estado y la obligación de transparencia de lo que hace con nuestros datos biométricos”, complementó Busaniche.

En este sentido, caracterizó a la ratificación del bloqueo del sistema como «estratégico a nivel internacional e histórico. Demuestra que más allá del debate parlamentario sobre iniciativas de este tipo, se puede y debe exigir el cumplimiento de medidas de protección de derechos frente a la integración acrítica de tecnologías de alto riesgo”.

La Defensoría del Pueblo insiste con una auditoría que, al menos hasta febrero de este año, no cumplía con los requisitos que la Justicia pide.

Tras el cuarto intermedio, las partes acordaron reunirse para elaborar un plan que contemple un marco institucional, un presupuesto y un plan metodológico claro para una auditoría real del sistema. Hasta la fecha, las partes no avanzaron en esa línea y el sistema de reconocimiento facial seguirá suspendido hasta que una nueva propuesta para auditarlo se presente ante la Justicia.