un nuevo estudio plantea dudas sobre la seguridad del chatbot de la Ciudad

Un reporte plantea dudas sobre la seguridad de los datos personales que se cargan en Boti, el chatbot de la Ciudad de Buenos Aires que usan los porteños para realizar trámites como renovar la licencia de conducir, pagar infracciones o consultar el estado del tiempo.

Se trata de un informe de la Asociación por los Derechos Civiles (ADC), una organización sin fines de lucro, bajo la dirección de la ONG Derechos Digitales (con foco en América Latina), que ya realizó 10 estudios comparativos en América Latina, desde 2019.

“El caso de Boti deja serias dudas sobre las intenciones futuras del Gobierno de la Ciudad en el tratamiento de los datos que recolecta. La vaguedad de sus políticas y la imprecisión de aspectos claves asociados a su seguridad dan cuenta de lo mucho que falta avanzar para que las autoridades tomen más en serio la protección de los datos de la ciudadanía”, dijo a Clarín Lucía Camacho, Coordinadora de Políticas Públicas en Derechos Digitales.

Los problemas que señalan tienen que ver con cómo se manejan los datos personales hasta la poca información sobre “los sistemas operativos, tecnologías y softwares de los dispositivos de trabajo vinculados a los servidores de Boti”, entre otros tópicos.

“Boti es una iniciativa loable que, desde el punto de vista de los derechos de los titulares de los datos, necesita ser robustecida. Urge claridad respecto a los fines con que serán tratados los datos que recoge, así como las medidas que aplica el gobierno de CABA para garantizar su seguridad y anonimización adecuada”, aseguran desde la organización.

Acá, los detalles del informe, qué responde el Gobierno de la Ciudad y AWS, empresa que realizó el prototipo de Boti con inteligencia artificial generativa.

El chatbot porteño, reconocido internacionalmente, no es una aplicación desarrollada 100% por el Gobierno de la Ciudad, sino que es una integración hecha con «botmaker», una empresa que crea plataformas de inteligencia artificial para chatear automáticamente en apps de chat como WhatsApp, Telegram o Facebook Messenger.

Por supuesto, estos chatbots son muy útiles para los ciudadanos y, en este sentido, están alineados con la agilización de los procesos burocráticos. El reverso de la agilidad es que, cuanto más se usan estas plataformas digitales, más cuidado hay que tener con los datos personales.

“Siguiendo lo señalado por la Oficina del Alto Comisionado de las Naciones Unidas para los Derechos Humanos (ACNUDH), en términos generales, los chatbots gubernamentales en tanto tecnologías automatizadas que recolectan y procesan información presentan ciertos riesgos críticos para la privacidad y la protección de los datos personales de la ciudadanía”, señala el informe de la ADC.

“En primer lugar, existe el peligro de uso indebido o acceso no autorizado a los datos, lo que puede llevar a posibles daños a las personas afectadas. En segundo lugar, la recopilación masiva de datos puede resultar en perfiles detallados de las personas usuarias sin su conocimiento explícito, exponiéndolas a potenciales situaciones de discriminación o Manipulación”, explican.

Clarín consultó a un investigador en seguridad independiente del estudio para preguntarle, a partir de la lectura del reporte, si las dudas presentadas se sostienen.

“Hay un escenario preocupante sobre la privacidad estructural de Boti. La plataforma sugiere múltiples formas de vulnerabilidades en la privacidad, debido a la integración directa con servicios terceros, tales como WhatsApp y soluciones de inteligencia artificial que pueden ser susceptibles a filtraciones o análisis incorrectos”, explicó «Teno», analista de seguridad y hacker.

Además, el informe destaca lo que se conoce como «ciberseguridad basada en la oscuridad”, “donde se omite información esencial sobre sistemas operativos, tecnología y software empleados, lo que puede conducir a un modelo de seguridad basado en conocimiento inadecuado”, asegura. Esto incrementa el riesgo de ataques, ya que el desconocimiento sobre el sistema puede ser aprovechado para explotar vulnerabilidades, creando ‘burbujas de incertidumbre’”.

«Algunas funcionalidades sugieren comportamientos peligrosos, como el análisis de archivos de voz y geolocalización de imágenes, que pueden abrir canales adicionales de filtración o acceso al sistema. La privacidad del contenido subido a través de WhatsApp es otro punto crucial en la consideración de riesgos asociados con su uso», agregó.

Otro tema sensible es dónde corren los sistemas. “Dado que se desconoce el sistema operativo base y las tecnologías utilizadas, existe un grave riesgo de seguridad debido a sistemas operativos antiguos como Windows Server 2008, lo cual es vulnerable a ataques. La falta de transparencia en cuanto al desarrollo de software también plantea desafíos para identificar y mitigar vulnerabilidades”, complementa.

En el informe pueden leerse no sólo el resto de los planteos de la organización, sino también el marco metodológico bajo el que se realizó el estudio.

Clarín se contactó con la Secretaría de Innovación y Transformación Digital de la Ciudad de Buenos Aires para consultar sobre este reporte. “Tanto el chatbot Boti como los demás activos digitales del Gobierno de la Ciudad de Buenos Aires se rigen bajo estrictos estándares de seguridad establecidos por la Agencia de Sistemas de Información, que establecen los requisitos que deben cumplir todas las aplicaciones del Gobierno de la Ciudad. Dichos estándares pueden ser consultados en este enlace», aseguraron fuentes del Gobierno porteño.

Además, recordaron que «para realizar gestiones con el Gobierno de la Ciudad de Buenos Aires se requiere la validación de datos personales a través de miBA. Los usuarios deberán aceptar los términos y condiciones en las instancias en las cuales sea necesario brindar sus datos personales, por ejemplo, cuando realizan una gestión a través de Boti, como reportar un auto mal estacionado o solicitar un turno».

Sin embargo, no se refirieron específicamente a los tramos del informe que cuestionan las medidas de seguridad de Boti, ni al reporte en general, que fue compartido por este medio. Sí recordaron las bases y condiciones del chatbot (ver).

Clarín le pidió también un comentario a Amazon Web Services (AWS), la división de computación en la nube de Amazon, que siempre cuenta a nivel local como caso de éxito el desarrollo de Boti.

“Lo que trabajamos con la Secretaría de Innovación porteña, particularmente con el equipo de la Subsecretaría de Canales Digitales, fue un prototipo usando modelos de IA generativa para resolver un caso de uso específico dentro de los cientos de casos que maneja Boti, que es la información sobre los más de 1,300 trámites que un ciudadano puede acceder dentro de todas las dependencias y servicios que maneja la Ciudad”, dijo a este medio Lorena Zicker, líder de Sector Público para la región Cono Sur en AWS.

Amazon Bedrock fue la infraestructura sobre la que se realizó el prototipo, el producto de IA generativa de AWS. “Informar sobre trámites mediante un chatbot es complejo porque el ciudadano puede tener muchas inquietudes, no saber exactamente cómo se llama un trámite, etc. Para esto se entrenó un modelo de IA Generativa basado en el servicio Amazon Bedrock, que permite preguntarle vía Boti sobre cualquier trámite y el modelo poder responder de manera natural, dándole al ciudadanos toda la información necesaria (requisitos, sedes, horarios, costos, etc.)”, aclaró Zicker. Y agregó: «Este prototipo se utiliza para contestar información pública y en ningún momento utiliza información privada de los ciudadanos».

Consultada por la privacidad de los datos cargados, explicó: “Los clientes de AWS conservan la propiedad y el control de su contenido almacenado en AWS. Amazon y AWS están comprometidos con la privacidad de sus clientes y han implementado medidas técnicas y físicas sofisticadas para prevenir accesos no autorizados”. De hecho, el jefe de Seguridad de la empresa explicó cómo son estas técnicas, en esta entrevista con Clarín.

“No divulgamos contenido de los clientes en respuesta a solicitudes, a menos que sea necesario para cumplir con una orden legalmente válida y vinculante, como una citación o una orden judicial. Además, cuando sea posible, notificaremos al cliente antes de divulgar su contenido para que pueda tomar medidas para protegerlo”, complementó.

“También es importante destacar que los clientes pueden optar por cifrar su contenido como parte de un proceso de seguridad estándar para datos altamente sensibles. AWS proporciona herramientas que los clientes pueden usar para cifrar sus datos en reposo o en tránsito, o pueden elegir entre varias soluciones de seguridad de terceros compatibles. El contenido que ha sido cifrado se vuelve inutilizable sin las claves de descifrado correspondientes”, cerró.

El problema es que, más allá de estas robustas medidas de seguridad, un problema muy recurrente en el mundo de la ciberseguridad es el de las malas configuraciones, o misconfig, como se dice en el ambiente experto.

“Una ‘misconfig’, o como se dice en español una mala configuración, es un error accidental que suele cometer una entidad, que no ha sido percibida por ella misma. Por ejemplo, alguien expone un directorio abierto (open directory) con alguna base de datos que deja acceder a datos de sus clientes, o tambien documentación interna de la empresa, como facturas, correos, hojas de Excel, proyectos, etc.”, aclara a este medio el investigador independiente Chum1ng0, quien durante 2024 encontró 9 casos y los reportó a las autoridades pertinentes para evitar que se filtraran datos de ciudadanos.

No es la primera vez que se posa la lupa sobre Boti: en 2022, la Auditoría General de la Ciudad de Buenos Aires revisó el servicio y la Defensoría del Pueblo de la Ciudad, organismo de control de la Ley de Protección de Datos Personales de la Ciudad, en respuesta a un reclamo ciudadano, realizó una investigación que expuso problemas significativos en el acceso y la transparencia del aviso legal del chatbot.

El caso de análisis sobre Boti es, a fin de cuentas, una instancia más de un problema más general: el control y tratamiento de los datos personales en la Argentina, y en particular en la Ciudad de Buenos Aires. Esto es muy complejo en nuestro país. Basta recordar la filtración de la base de datos completa del Renaper durante el año pasado, el ciberataque a la Dirección Nacional de Migraciones en 2020 o el ataque al PAMI en 2023. En todos estos casos, quedaron expuestos datos de los ciudadanos.

Las filtraciones de datos representan un problema para la ciudadanía porque una vez que la información está accesible para cibercriminales o estafadores, se usan con múltiples motivos: desde realizar estafas por ingeniería social hasta comercializarlos en foros clandestinos de compraventa de información personal.

“La Agencia de Sistemas de Información (ASI) es la autoridad en Tecnologías de la Información, y la que emite los lineamientos para estas áreas de todo el Gobierno porteño. Los funcionarios repiten que se cumple con lo que indica esta Agencia, pero cuando uno va a leer sus guías, lo publicado sobre seguridad es sólo sobre el desarrollo, que está muy bien, pero que en términos de gestión de la seguridad de la información y siguiendo uno de los estándares conocidos (ISO 27002), cumplen con apenas uno de los 93 controles”, cuestiona en diálogo con este medio Marcela Pallero, Responsable del Programa STIC de la Fundación Sadosky.

“No hay indicaciones sobre monitoreo o gestión de accesos e identidades, al menos no en las normas publicadas de la Agencia ni gestión de incidentes. El informe de ADC hace referencia a que hacen pruebas ‘de continuidad’, pero eso solo protege de los cortes de servicios, no de las filtraciones, que podría afectar la confidencialidad de los datos personales o información sensible del Gobierno”, sigue.

Según la especialista, el problema es que “se aborda la seguridad informática, pero la Ciudad de Buenos Aires no maneja el concepto de Seguridad de la Información y menos la asignación de responsables en esta materia, ni el concepto ni el cargo, ni la función para entender a la información (datos personales incluidos) como un activo estratégico a proteger”.

Camacho, de Derechos Digitales, cierra con una reflexión sobre el espíritu del reporte: “El caso nos enseña la importancia de que el Estado sea explícito en declarar las finalidades que persigue para dar tratamiento a nuestros datos, así como en transparentar las condiciones -jurídicas y técnicas- apropiadas para cuidar dicha información y resguardarla de manera segura. Más información en beneficio de la ciudadanía sólo redundará en su bienestar”.