Justicia automatizada: Cuando la IA policial “alucina” testigos

Durante décadas, la tarea más tediosa de un oficial de policía no fue perseguir sospechosos ni investigar crímenes complejos. Fue la montaña de papeleo que seguía a cada arresto, cada llamada de emergencia, cada incidente documentado. Escribir reportes policiales consumía horas que podían dedicarse al trabajo de campo. Cuando empresas tecnológicas como Axon prometieron solucionar este problema con inteligencia artificial, muchos departamentos de policía escucharon con interés. La herramienta se llamaba Draft One y prometía redactar narrativas de reportes completos usando solo el audio capturado por cámaras corporales. Ahorraba tiempo. Reducía carga laboral. Hasta que los fiscales descubrieron que también fabricaba testigos.

La Fiscalía del condado de King, que maneja todas las acusaciones criminales en el área de Seattle, envió un memorándum a los jefes de policía locales con instrucciones claras: cualquier reporte policial escrito con asistencia de inteligencia artificial generativa será rechazado. El motivo no fue precaución abstracta ni aversión tecnológica. Fue un caso concreto. Los fiscales detectaron un reporte asistido por IA que mencionaba a un oficial que nunca estuvo presente en la escena del incidente. Certificar ese documento equivaldría a hacer una declaración falsa. En un sistema donde los reportes policiales sirven como base para acusaciones criminales, testimonios judiciales y condenas, ese nivel de error no es un problema técnico menor. Es una falla sistémica que compromete la integridad del proceso judicial.

El memorándum, firmado por el fiscal jefe adjunto Daniel Clark, es directo en su evaluación. La oficina tiene "preocupaciones legítimas sobre algunos de los productos en el mercado actualmente". La IA generativa, incluyendo sistemas como ChatGPT, no cumple los requisitos de precisión que el sistema judicial demanda. Clark reconoce que podría llegar un día donde la inteligencia artificial ayude a las agencias policiales "de maneras importantes y que ahorren tiempo". Pero ese día no es hoy. Por ahora, la decisión es rechazar cualquier narrativa policial producida con asistencia de IA.

La promesa de eficiencia y el costo de la alucinación

Draft One, la herramienta desarrollada por Axon, es un producto de la era de automatización policial. La empresa, con sede en Arizona, es un gigante en tecnología para fuerzas del orden, fabricando desde Tasers hasta cámaras corporales y sistemas de almacenamiento de evidencia digital. Draft One representa su incursión en inteligencia artificial generativa. El sistema funciona analizando el audio capturado por cámaras corporales durante incidentes policiales. Usando modelos de lenguaje, procesa conversaciones, testimonios, contexto ambiental y genera un borrador de reporte narrativo completo. Según Axon, esto ahorra "múltiples horas" a cada oficial por reporte.

Al menos siete departamentos de policía en Estados Unidos ya utilizan Draft One. La compañía enfatiza que cada reporte es revisado y aprobado por un oficial humano antes de ser certificado. Pero esa revisión humana enfrenta un problema conocido en la literatura sobre automatización: el sesgo de confianza en la máquina. Cuando un sistema presenta información con apariencia profesional y coherente, los revisores humanos tienden a asumir exactitud sin verificación exhaustiva. Este fenómeno, documentado en contextos desde aviación hasta medicina, se llama "complacencia de automatización". El oficial que revisa un borrador generado por IA puede concentrarse en estilo y gramática sin cuestionar si los hechos básicos son correctos.

El problema técnico subyacente es bien conocido: las alucinaciones. Los modelos de lenguaje generativos no "saben" hechos. Generan texto mediante predicción probabilística de palabras siguientes basadas en patrones de entrenamiento. Cuando el modelo no tiene información suficiente o enfrenta ambigüedad en el audio de entrada, puede llenar vacíos con invenciones plausibles: un nombre de oficial, una hora aproximada, un detalle de procedimiento. Para el modelo, estos son simplemente tokens lingüísticos que completan coherentemente una secuencia. Para el sistema judicial, son afirmaciones de hecho que pueden destruir carreras, arruinar casos o condenar inocentes.

El eslabón humano en la cadena de custodia de la verdad

La Electronic Frontier Foundation (EFF), organización internacional sin fines de lucro dedicada a derechos digitales, respondió a la decisión de los fiscales de King con alivio cauteloso. La EFF ha estado siguiendo la proliferación de inteligencia artificial en funciones policiales con preocupación creciente. Su posición es clara: las empresas continúan vendiendo tecnología, específicamente inteligencia artificial generativa, para ayudar a escribir reportes policiales, la cual podría dañar a personas que entran en contacto con el sistema de justicia criminal.

El problema que identifica la EFF es estructural. Los reportes policiales no son solo documentos administrativos. Son piezas fundamentales de evidencia. Los fiscales los usan para construir casos. Los defensores públicos los usan para detectar inconsistencias. Los fiscales de distrito los usan para recomendar cargos. Los jueces los usan para determinar causas probables. Los jurados los usan para evaluar la credibilidad de testimonios. Introducir inteligencia artificial generativa en esta cadena de custodia documental añade un eslabón adicional, uno que no puede ser interrogado en corte, que no puede ser acusado de perjurio y que no tiene responsabilidad legal por fabricación de hechos.

La organización señala que el público y otras agencias locales deberían ser escépticas de esta tecnología. Los documentos son frecuentemente esenciales para que los fiscales construyan casos, para que los fiscales de distrito recomienden cargos y para que los defensores interroguen a los oficiales arrestantes. Si esos documentos contienen información generada por máquina sin verificación rigurosa, el sistema judicial pierde un fundamento básico: la certeza de que el reporte refleja lo que el oficial presenció y documentó.

La geografía de la regulación tecnológica policial

La decisión del condado de King no es aislada, pero tampoco es universal. Representa un fragmento de un paisaje regulatorio emergente donde diferentes jurisdicciones adoptan posturas divergentes sobre inteligencia artificial en funciones policiales. Mientras Seattle rechaza reportes generados por IA, otros departamentos continúan experimentando con tecnologías similares. Esta fragmentación crea problemas de coordinación. Un sospechoso arrestado en una jurisdicción con reportes asistidos por IA podría ver su caso movido a una jurisdicción donde esos reportes son inadmisibles. La evidencia recolectada bajo un estándar tecnológico podría ser rechazada bajo otro.

Clark, el fiscal que firmó el memorándum, reconoce esta tensión. Su declaración incluye una advertencia implícita: las empresas que venden estos sistemas deben mejorar dramáticamente la confiabilidad antes de que los fiscales acepten su uso. La presión no está solo en los departamentos de policía que los adoptan, sino en los desarrolladores que los fabrican. Si Axon quiere que Draft One sea herramienta estándar en la aplicación de la ley estadounidense, necesita resolver el problema de alucinaciones. No puede simplemente confiar en que la revisión humana detectará todos los errores. Debe garantizar que los errores no ocurran en primer lugar.

El desafío técnico es formidable. Los modelos de lenguaje actuales, incluidos los sistemas más avanzados de empresas como OpenAI, Google y Anthropic, todavía producen alucinaciones bajo condiciones de ambigüedad o falta de datos. Ningún modelo comercial ha eliminado completamente este problema. Draft One enfrenta el desafío adicional de trabajar con audio de campo, frecuentemente capturado en ambientes ruidosos, con hablantes múltiples, interrupciones, jerga policial específica y contextos donde detalles sutiles importan enormemente. Un error de transcripción o inferencia puede cambiar completamente el significado de un intercambio.

Otros usos de IA en funciones policiales bajo escrutinio

Los reportes policiales generados por IA son solo una dimensión de un problema más amplio: la proliferación de inteligencia artificial en funciones de aplicación de la ley sin marcos regulatorios adecuados. Mientras los fiscales de Washington rechazan narrativas generadas por máquinas, otros sistemas de IA policial continúan operando con escasa supervisión. El reconocimiento facial, por ejemplo, ha sido responsable de al menos siete arrestos erróneos documentados en Estados Unidos, seis de los cuales involucraron a personas negras arrestadas falsamente. El Innocence Project, organización legal sin fines de lucro dedicada a exonerar personas condenadas injustamente, ha documentado estos casos.

Walter Katz, director de política del Innocence Project, señala un patrón preocupante: algunos departamentos de policía hacen arrestos basados únicamente en los resultados del reconocimiento facial de IA, en lugar de usar la tecnología como punto de partida para una investigación más amplia. Esto representa "sobredependencia en salidas de IA", dice Katz. El problema es simétrico al de los reportes generados por IA: confianza excesiva en sistemas que carecen de comprensión contextual y que producen errores bajo condiciones específicas.

Otras aplicaciones incluyen vigilancia predictiva, donde algoritmos intentan predecir dónde ocurrirán crímenes futuros. Los críticos argumentan que estos sistemas perpetúan sesgos históricos. Si datos de entrenamiento reflejan patrullaje desproporcionado en vecindarios de minorías, el algoritmo recomendará más patrullaje en esas áreas, creando un bucle de retroalimentación que intensifica la vigilancia sobre comunidades ya sobrevigiladas. Herramientas de análisis de redes sociales permiten el monitoreo masivo de espacios públicos digitales, incluyendo el seguimiento de protestas pacíficas. Sistemas de localización de dispositivos móviles pueden rastrear teléfonos sin orden judicial, evadiendo protecciones constitucionales contra búsquedas sin fundamento.

El futuro incierto de la automatización judicial

La decisión de los fiscales de King plantea una pregunta fundamental sobre el rol de la inteligencia artificial en instituciones que administran justicia. ¿Pueden sistemas que operan mediante correlaciones estadísticas, sin comprensión semántica ni responsabilidad legal, desempeñar funciones donde los errores destruyen vidas? La respuesta de Seattle es provisional: no todavía. Pero ese "todavía" implica una puerta abierta al "eventualmente". Clark sugiere que podría llegar un día donde la IA ayude a las fuerzas del orden de maneras importantes y eficientes. El desafío es definir qué estándares debe cumplir la tecnología antes de ese día.

Algunos proponen marcos de certificación técnica, donde modelos de IA usados en funciones judiciales pasen auditorías independientes de precisión, sesgo y confiabilidad antes de su implementación. Otros argumentan por una transparencia algorítmica obligatoria, requiriendo que los desarrolladores revelen arquitecturas de modelos, datos de entrenamiento y tasas de error verificadas. Un tercer enfoque enfatiza la responsabilidad legal: si un sistema de IA produce un error que causa daño, ¿quién es legalmente responsable? ¿El desarrollador? ¿El departamento de policía? ¿El oficial que certificó el reporte?

La cuestión más profunda es si la automatización en funciones de justicia criminal es deseable incluso si técnicamente funciona. Los reportes policiales no son solo documentos informativos. Son narrativas construidas por testigos con perspectivas, sesgos e interpretaciones. Un oficial humano puede ser interrogado sobre por qué describió un evento de cierta manera, qué vio, qué escuchó, qué pensó. Un modelo de lenguaje no tiene perspectiva. No vio nada. No escuchó nada. No pensó nada. Simplemente predijo palabras basándose en patrones estadísticos. Si el sistema judicial estadounidense depende fundamentalmente de la confrontación de testigos, ¿qué significa introducir "testigos" que no son agentes conscientes sino funciones matemáticas?