EE.UU.: Los tribunales están usando inteligencia artificial (IA) para dictar sentencias penales. Eso Debe Terminar Ahora

Wired

Por Jason Tashea (@justicecodes) es escritor y tecnólogo, vive en Baltimore, y fundó Justice Codes, una consultoria de justicia criminal y tecnologia

Para ir de Springfield, Missouri, a Clarksville, Arkansas, las aplicaciones de navegación recomiendan tomar la ruta Arkansas 43. Esta es la ruta más corta, pero el algoritmo del GPS no tiene en cuenta factores importantes para los camiones con cargas pesadas como la elevación de 396 metros a lo largo de 6,4 kms. , con dos curvas cerradas. En esta ruta raramente transitaban vehículos de 18 ruedas pero en los últimos dos años y medio el tránsito de camiones aumentó mucho – y también los accidentes. Los habitantes que presenciaron el crecimiento de los accidentes creen que es sólo una cuestión de tiempo hasta que alguien se lastime gravemente o que suceda algo peor.

Los camioneros que conocen la región saben que la ruta 7 es más segura. Pero el algoritmo que recomienda el camino más corto no lo sabe. El GPS considera sólo los factores programados en él. En última instancia, su algoritmo reproduce una imagen incompleta o distorcionada de la ruta, o que puede hacer que los conductores desprevenidos piercan el control de sus vehículos.

Hoy los algoritmos impregnan nuestras vidas. Son usados para recomendar música, para analizar pedidos de préstamos y, ahora, para alcular fianzas y sentencias en los tribunales. Pero hay poca supervisión y transparencia sobre como ellos funcionan. Y en ningún lugar esta falta de supervisión es más grave que en el sistema de justicia penal. Sin salvaguardias adecuadas, estas herramientas corren el rieso de erosionar al Estado de Derecho y de reducir los derechos individuales.

En la actualidad tribunales y juzgados de los Estados Unidos usan algoritmos para determinar el “riesgo” de un acusado, que varia de la probabilidad de un individuo cometer otron crime a la probabilidad de un acusado comparecer al tribunal cuando es intimado. Los resultados de cálculos algorítmicos orientan las decisiones sobre fianzas, sentencias y libertad condicional. Cada herramienta aspira a mejorar la toma de decisiones humanas, con el fin de mejorar la asignación de recursos finitos.

Los organismos de la administración pública, en general, no escriben sus propios algoritmos; ellos las compran de empresas privadas. Esto significa que el algoritmo es proprietario, una caja negra, en la que solamente sus dueños, y en algun grado sus usuarios, pueden ver como el software toma sus decisiones. No hay ninguna ley federal que establezca normas o determine la inspección de estas herramientas, como la Food and Drug Administration (FDA, la ANMAT de los Estados Unidos) hace con las nuevas drogas.

Esta falta de transparencia tiene consecuencias reales. En el caso de Wisconsin v. Loomis, el acusado Eric Loomis fue considerado culpable por su participación en un tiroteo. Cuando se le tomó declaración las respuestas de Loomis a una serie de preguntas fueron colocadas en una herramienta de análisis de riesgo llamada Compas, desarrollada por el Departamento Correccional de Wisconsin. El juez lo condenó a una larga sentencia, parcialmente por causa de la puntuación de “alto riesgo” que Loomis recibió de la herramienta-caja-negra. El acusado apeló su sentencia porque no le fue permitido acceder y evaluar al algoritmo. En el último verano la Corte Suprema del estado decidió contra Loomis, argumentando que el conocimiento del resultado del algoritmo era un nivel suficiente de transparencia.

Al mantener al algoritmo en secreto, el caso Loomis permite que estas herramientas sean usadas sin ninguna supervisión. Este es un precedente preocupante porque los análisis de riesgo están evolucionando de algoritmos que son posibles analizar, como el de Compas, a redes neuronales opacas. La misma naturaleza de las redes neuronales, algoritmos de aprendizaje profundo pensados para actuar como el cerebro humano, no permite que seanm transparentes. En vez de ser explicitamente programada, una red neuronal crea conexiones por ella misma. Este proceso de conexiones está siempre cambiando y esto crea el riesgo de limitar  la posibilidad de que un juez tome una decisión completamente informada y la habilidad de la defensa de defender diligentemente a sus clientes.

Considere un escenario en el que el abogado de la defensa llama al desarrollador de una herramienta de evaluación de riesgo basada en redes neuronales para que en el banquillo de los testigos, se cuestione una puntuación de “alto riesgo” que podria afectar la sentencia de su cliente. El ingeniero podria decirle al tribunal como la red neuronal fue proyectada, que información fue ingresadas y que respuestas fueron creadas en un caso específico. Sin embargo, no podria explicar el proceso de toma de decisiones del software.

Con esta información, o con esta falta de información, ¿cómo un juez pondera la validad de una herramienta de análisis de riesgo sin entender su proceso de toma de decisiones? ¿Cómo puede un tribunal de apelaciones saber si factores socioeconómicos, un factor constitucionalmente dudoso, determinaron el riesgo que un acusado representa para la sociedad? Al leer los argumentos del caso Loomis, se ve que el tribunal no tuvo alternativas a no ser el de renunciar a parte de su responsabilidad y entregarla a un proceso oscuro de toma de decisiones.

Ya se están usando técnicas básicas de aprendizaje por máquinas en el sistema de justicia. El papel ya existente de la inteligencia artificial en nuestros tribunales crea dos caminos potenciales para la justicia penal y las comunidades legales: o permitir ciegamente el avance de la marcha de la tecnologia o establecer una moratoria para el uso de herramientas de riesgo opacas por la Justicia, hasta que existan procesos y procedimientos que permitan un análisis significativo de estas herramientas.

La comunidad legal nunca discutió con profundidad las implicaciones del uso de algoritmos de análisis de riesgo. Ahora, abogados y jueces necesitan lidiar con la falta de supervisión e impacto de estas herramientas, después que su uso ya proliferó.

Decidir una pausa, hacer una moratória preventiva, les permitiria a los tribunales crear reglas que regulen como las evaluaciones de riesgo que usan inteligencia artificial deberían ser examinadas durante el juicio. Esto le daría a los formuladores de políticas la ventana para crear normas y un mecanismo de supervisión. Finalmente, les daría tiempo a las organizaciones educativas y de defensa para que enseñen a los abogados como lidiar con estas nuevas herramientas en el tribunal. Estas medidas pueden reforzar el Estado de derecho y proteger los derechos individuales.

Haciéndose eco de la primera ley de tecnologia de Kranzberg, estos algoritmos no son buenos ni malos, pero no son ciertamente neutrales. Aceptar la inteligencia artificial en nuestros tribunales sin un plan es someterse a las máquinas de una forma que debe generarle incomodidad a cualquier abogado.

A diferencia de los caminoneros de Arkansas, sabemos lo que hay después de la curva. No podemos dejar que los algoritmos no controlados conduzcan ciegamente al sistema de justicia penal hacia un precipicio.

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s