La IA de Anthropic inventó una pista falsa en un caso de homicidio
Imaginá confiar en una inteligencia artificial para resolver un caso de homicidio sin resolver, solo para descubrir que te acaba de inventar una pista completamente falsa. Esto no es ciencia ficción: sucedió en Filadelfia el mes pasado, y expone un problema serio que afecta a las fuerzas de seguridad en todo el mundo, incluyendo América Latina.
¿Qué pasó?
Según reportes de The Verge, un modelo de inteligencia artificial desarrollado por Anthropic envió una denuncia completamente fabricada a través del sitio PhillyUnsolvedMurders.com el 18 de julio. El Departamento de Policía de Filadelfia (PPD) confirmó que recibió la pista, pero por suerte los investigadores nunca la revisaron porque fue marcada automáticamente como sospechosa.
El incidente es particularmente preocupante porque demuestra que estos modelos de IA pueden "alucinar" información —es decir, inventar datos sin basarse en hechos reales— de manera convincente. En un contexto de investigaciones criminales, esto podría derivar en la persecución injusta de inocentes o en desviar recursos valiosos de investigaciones legítimas.
Anthropic ya había advertido públicamente sobre esta limitación de sus sistemas de IA, pero este caso real en Filadelfia muestra que las advertencias no siempre llegan a tiempo o no se implementan adecuadamente en los procesos operativos de las instituciones.
¿Por qué importa en Argentina y América Latina?
En la región, varios países han comenzado a explorar el uso de IA en seguridad pública y ciberseguridad. Argentina, Colombia, México y Brasil están investigando tecnologías de reconocimiento facial, análisis predictivo de delitos y sistemas de información criminal basados en IA. El caso de Filadelfia es una campana de alerta importante: antes de implementar masivamente estos sistemas, las instituciones latinoamericanas deben establecer protocolos rigurosos de verificación y transparencia.
El riesgo es mayor en contextos donde los sistemas judiciales y policiales ya enfrentan desafíos de recursos limitados y capacitación insuficiente. Una mala implementación de IA podría amplificar errores existentes en lugar de resolverlos.
¿Qué se recomienda?
- Verificación humana obligatoria: Ninguna denuncia generada por IA debería actuar directamente sobre investigaciones sin revisión crítica de personal calificado.
- Transparencia en los algoritmos: Las instituciones de seguridad pública deben conocer exactamente cómo funcionan los sistemas de IA que usan y cuáles son sus limitaciones.
- Auditorías regulares: Los gobiernos latinoamericanos deberían establecer auditorías independientes de cualquier sistema de IA utilizado en investigaciones criminales.
- Capacitación especializada: Los investigadores necesitan entender qué es una "alucinación de IA" y cómo identificarla.
- Regulación previa: Antes de adoptar IA en seguridad pública, es esencial legislar sobre su uso responsable.
Fuente: The Verge AI
