02/06/2025
La ironía detrás de la historia de Jeff Hancock resume mejor que cualquier otra cosa la época en la que vivimos. Hancock, profesor de Stanford y uno de los mayores expertos en los peligros de la desinformación generada por la inteligencia artificial, acaba de ser humillado públicamente por una jueza federal por... usar exactamente esa tecnología que tanto critica para presentar una declaración ante la Corte que incluía tres citas que fueron falsificadas por ChatGTP.
Este no es un caso aislado, pero ha sido el primer crujido de un iceberg que ahora emerge en tribunales de todo el mundo.
Nadie ni nada nos preparó para la era de los abogados que citan casos inexistentes, confunden códigos penales de diferentes países y someten a los jueces a un festival de referencias fantasma generadas por ChatGPT. Lo que comenzó como una promesa de revolución tecnológica en el derecho se está convirtiendo en casos de incompetencia profesional en la que pueden caer aún hasta los abogados más competentes. De hecho, un buen porcentaje de abogados siguen usando herramientas de Inteligencia Artificial Generativa en vez de herramientas más especializadas y, aún peor, no se toman el trabajo de verificar la veracidad de los resultados.
A diferencia de las IA de propósito general, que se entrenan con una vasta cantidad de información de internet, las versiones profesionales de IA legal como Vincent, de vLex, operan con bases de datos especializadas en contenido jurídico y verificado. Este tipo de herramientas ad hoc ofrecen un nivel precisión muy superior al de modelos de lenguaje generales como ChatGPT, Claude o Meta. Además, estas IA legales no solo generan texto, sino que también consultan y fundamentan sus respuestas en documentos y precedentes legales específicos. Como veremos, no son las mismas garantías que ofrece la Inteligencia Artificial de uso general.
Quizá quieras leer: ChatGPT, ¿cómo aprovechar su efecto transformador sin que nos controle?
Cuando la máquina miente mejor que nosotros 4z105y
Para entender la magnitud del problema, hay que empezar por un hecho inquietante: las nuevas versiones de los sistemas de Inteligencia Artificial generalistas no solo no han reducido sus alucinaciones, sino que las han multiplicado. Según las propias pruebas de OpenAI, su sistema más potente, o3, alucina el 33 % de las veces al responder preguntas sobre figuras públicas. Su versión más ligera, o4-mini, alcanza un escalofriante 79 % de respuestas falsas en algunas pruebas. Otras pruebas indican que los errores aumentan también en los modelos de razonamiento de Google o DeepSeek. Y, lo peor, no hay ninguna forma de garantizar que los modelos de lenguaje produzcan información precisa y confiable.
Es como si hubiéramos decidido contratar como asistentes de investigación a mitómanos compulsivos con títulos de prestigiosas universidades. Y los abogados, esos guardianes supuestamente rigurosos de la precisión factual, están cayendo en la trampa con una frecuencia que alarma cada vez más. Tan solo en las dos semanas anteriores, se registraron cinco casos en Estados Unidos, Reino Unido y Canadá en los que los abogados usaron información falsa en los expedientes que presentaron a los tribunales. Es decir, que incurrieron en una de las peores conductas que puede asumir un abogado: mentir a los jueces.
El francés Damien Charlotin, que mantiene una base de datos de estos deslices jurídicos, ha documentado ya 116 casos en 12 países donde abogados han sido pillados usando citas inventadas por IA. Veinte de ellos ocurrieron solo en mayo pasado. No estamos ante un problema que se esté resolviendo; estamos ante una epidemia que se acelera.
Nota relacionada: Revolución o extinción: La inteligencia artificial sacude los cimientos de la abogacía
El mapa global de las alucinaciones legales
Tomemos el caso que abrió la caja de Pandora, con una estrecha relación con una de las empresas más tradicionales de Latinoamérica. En junio de 2023, dos abogados neoyorquinos fueron multados con 5,000 dólares por presentar un alegato lleno de casos inventados por ChatGPT en una demanda contra Avianca. Cuando uno de ellos, Steven Schwartz, comenzó a sospechar que algo no cuadraba, su solución fue... preguntarle al propio ChatGPT si los casos eran reales. "¿Es Varghese un caso real?", escribió. "Sí, es un caso real", le mintió descaradamente el bot. Schwartz, satisfecho, siguió adelante.
Muchos creyeron que la anécdota, que llegó a la portada del New York Times, quedaría como un simple precedente aislado. La realidad demostró lo contrario.
En España, un abogado presentó una querella citando el Código Penal de Colombia en lugar del español, cortesía de ChatGPT. El Tribunal Superior de Justicia de Navarra, en una exhibición de ecuanimidad y paciencia, decidió no sancionarlo considerando "la relativa novedad del uso de tecnologías emergentes". Una benevolencia que probablemente no se repetirá si estos errores se vuelven más rutinarios.
Mientras tanto, en California, el prestigioso bufete Latham & Watkins —que representa nada menos que a Anthropic, la empresa creadora de Claude— se vio en la embarazosa situación de presentar un peritaje con citas falsas generadas por... el propio Claude. En otras palabras, Claude inventó citas falsas en un caso donde se defendía a Claude.
La psicología del engaño perfecto
¿Por qué siguen cayendo los abogados en estas trampas? La respuesta tiene que ver con algo profundamente humano. Como explica Amr Awadallah, exejecutivo de Google, "la IA es muy competente simulando competencia". Las citas legales siguen un formato estandardizado, lo que las hace fáciles de imitar convincentemente.
Pero hay algo más siniestro en juego. Los sistemas de IA no solo inventan; lo hacen con una confianza que desarma. No dudan, no muestran incertidumbre, no dicen "no estoy seguro". Responden con la autoridad de un oráculo, y esa certeza artificial es psicológicamente irresistible para profesionales sobrecargados de trabajo que buscan atajos. El debate acerca de las mentiras deliberadas de los modelos más recientes de la IA está al rojo vivo.
El problema es que, en el derecho, los atajos no son eficiencia: son negligencia. Andrew Perlman, decano de la Facultad de Derecho de Suffolk University, lo dice sin rodeos: "Cuando los abogados son atrapados usando ChatGPT o cualquier herramienta de IA generativa para crear citas sin verificarlas, eso es incompetencia, pura y simple".
Te puede interesar: ¿Cómo hacer que la inteligencia artificial sea verdaderamente costo-efectiva en el marketing jurídico?
Lo que está en juego
Las consecuencias van mucho más allá de multas de unos miles de dólares o momentos de bochorno profesional. En febrero, el exmagistrado federal Michael Wilner impuso sanciones de 31,000 dólares a dos bufetes por presentar un alegato plagado de citas falsas. Wilner encontró que 9 de las 27 citas que se esgrimían en un alegato de 10 páginas eran incorrectas. Pero lo más revelador de su decisión fue esta confesión: "Leí su alegato, me convencieron (o al menos me intrigaron) las autoridades que citaron, y busqué las decisiones para aprender más sobre ellas, solo para descubrir que no existían. Eso da miedo."
Ahí está el verdadero problema: no solo se está perdiendo tiempo y dinero, sino que se está erosionando la confianza en el sistema judicial mismo. Cuando los jueces tienen que convertirse en verificadores de hechos porque no pueden confiar en los abogados, algo fundamental se ha roto.
El caso de Hancock es particularmente ilustrativo. La jueza Laura Provinzino no solo desestimó su peritaje completo, sino que lo hizo con palabras lapidarias: "Las citas falsas destrozan su credibilidad ante este tribunal." Un experto en desinformación convertido en víctima de desinformación, en un caso sobre... desinformación.
La paradoja de la Inteligencia Artificial poco inteligente
Lo más perturbador de esta crisis es que revela una verdad incómoda sobre nuestra relación con la tecnología: estamos tan deslumbrados por la sofisticación aparente de estos sistemas que olvidamos sus limitaciones fundamentales. Los grandes modelos de lenguaje no comprenden el contenido que generan: predicen, no piensan. Su lógica es estadística, no epistémica. No tienen concepto de verdad o falsedad, solo de probabilidad lingüística.
Como señala Pratik Verma, cofundador de Okahu, "pasas mucho tiempo tratando de averiguar cuáles respuestas se basan en hechos y cuáles no. No gestionar estos errores adecuadamente elimina el valor de los sistemas de IA, que se supone que automatizan tareas para ti."
La industria legal, tradicionalmente conservadora y obsesionada con los precedentes, se encuentra de repente en el epicentro de una revolución tecnológica para la que no estaba preparada. Según una encuesta de Thomson Reuters, el 63% de los abogados han usado IA para trabajar, y el 12% la usan regularmente. Pero la educación sobre sus limitaciones no ha seguido el ritmo de su adopción.
Más allá del derecho: un problema sistémico
Este fenómeno trasciende el mundo legal. Periódicos muy prestigiosos en Estados Unidos publicaron recientemente una lista de libros recomendados… en la que los libros enumerados son completamente inventados por la IA. En medicina, investigadores de Stanford encontraron que los bots más avanzados no podían respaldar sus afirmaciones médicas con fuentes sólidas el 30% del tiempo. Los investigadores escribieron que los pacientes pueden ser "desviados por alucinaciones". Detrás de ese lenguaje académico se esconden decisiones médicas equivocadas que pueden costar vidas.
La diferencia es que los tribunales documentan todo. Cuando un abogado cita un caso inexistente, queda archivado en el expediente judicial para siempre. Por eso sabemos que ya van 116 casos documentados en 12 países, con 20 nuevos solo en mayo. Si bien podríamos decir que 112 no es un número alarmante, lo importante es tener conciencia que este problema puede ser escalable, con consecuencias impredecibles, si no se toma conciencia de sus dimensiones. El derecho nos está dando la medida real del problema de las alucinaciones, y las firmas en Latinoamérica tienen que tomar nota de ello.
Algunos tribunales han comenzado a reaccionar. Requieren ahora declaraciones explícitas sobre el uso de IA y certificaciones de que todas las referencias han sido verificadas. Al menos un distrito judicial federal en Estados Unidos ha prohibido casi cualquier uso de inteligencia artificial. Es una respuesta comprensible, pero probablemente insostenible a largo plazo.
La IA no va a desaparecer del derecho, ni debería. Tiene el potencial genuino de democratizar el a la justicia y mejorar la calidad de los alegatos legales. Pero su integración exitosa requiere algo que la profesión legal ha mostrado tener en cantidades limitadas: humildad tecnológica. Cuando los clientes preguntan a sus asesores externos si utilizan inteligencia artificial, quizá no solo están indagando en el impacto en las horas facturables; también pueden estar tomando en cuenta el riesgo de alucinaciones, sobre todo si la asesoría se hace en litigios y solución de controversias.
Como observa Harry Surden, profesor de derecho en la Universidad de Colorado, "los abogados siempre han cometido errores en sus alegatos antes de la IA. Esto no es nuevo." Lo nuevo es la escala y la naturaleza persuasiva del error. Es la diferencia entre equivocarse y ser engañado por una máquina que miente con la fluidez de un manipulador experto.
De interés: LexLatin y vLex se alían para impulsar la evolución digital del derecho en América Latina
No solo es la IA la que alucina
Los abogados no están siendo traicionados por la tecnología. Están siendo traicionados por su propia ingenuidad y por su falta de responsabilidad de verificar y auditar las citas y casos que ciertas herramientas generan para el desarrollo de su trabajo. ChatGPT nunca prometió ser infalible; simplemente parece serlo. Y esa apariencia de competencia es suficiente para engañar a profesionales que deberían saber que, en el derecho, como en la medicina, verificar es la diferencia entre el éxito y el desastre. Es una advertencia muy útil para los abogados en nuestra región, en donde la adopción de estas herramientas va mucho más lenta. La ventaja es que podemos aprender de las experiencias que profesionales en otras regiones están enfrentando en el uso de la IA sin hacer las verificaciones debidas.
En cualquier caso, el verdadero problema no son las alucinaciones de la IA. Es nuestra alucinación colectiva de que podemos saltarnos pasos fundamentales porque una máquina "inteligente" los hará por nosotros. Cada abogado sancionado creía que había encontrado un atajo. Cada juez molesto descubre que no existen atajos en la justicia. Hasta que no asumamos esa responsabilidad, seguiremos viendo cómo abogados brillantes son humillados por máquinas que no saben la diferencia entre Colombia y España, entre realidad y ficción, entre servir a la justicia y socavarla.
La IA llegó para quedarse. Pero hasta que los abogados entiendan que estas herramientas son amplificadores, no reemplazos, seguiremos viendo casos como los que describimos aquí: errores tan básicos que revelan una desconexión total entre la sofisticación de la herramienta y la sabiduría de quien la usa. La pregunta ya no es si la tecnología será lo suficientemente inteligente para nosotros, sino si nosotros seremos lo suficientemente sabios para no delegarle lo que no entiende.
}
Add new comment x6619