Gartner identifica seis riesgos de ChatGPT que los líderes legales y de cumplimiento, deben evaluar

Los resultados generados por ChatGPT y otras grandes herramientas de modelos de lenguaje (LLM) son propensos a varios riesgos

Según Gartner, Inc., los responsables legales y de cumplimiento deben evaluar la exposición de su organización a seis riesgos específicos de ChatGPT y qué medidas deben establecer para garantizar un uso responsable de las herramientas de IA generativa por parte de la empresa.

"Los resultados generados por ChatGPT y otras grandes herramientas de modelos de lenguaje (LLM) son propensos a varios riesgos", dijo Ron Friedmann, director analista senior en la Práctica Legal y de Cumplimiento de Gartner. "Los responsables jurídicos y de cumplimiento deben evaluar si estos problemas representan un riesgo material para su empresa y qué controles son necesarios, tanto dentro de la empresa como en su empresa extendida de terceros y enésimas partes. No hacerlo podría exponer a las empresas a consecuencias legales, de reputación y financieras."

Los seis riesgos ChatGPT que los líderes legales y de cumplimiento deben evaluar incluyen:

Riesgo 1 – Respuestas fabricadas e inexactas

Quizás el problema más común con ChatGPT y otras herramientas LLM es la tendencia a proporcionar información incorrecta – aunque superficialmente plausible.

"ChatGPT también es propenso a las ‘alucinaciones’, incluyendo respuestas fabricadas que son erróneas, y citas legales o científicas inexistentes», dijo Friedmann. «Los líderes legales y de cumplimiento deben emitir directrices que exijan a los empleados revisar cualquier salida generada por ChatGPT para verificar su exactitud, adecuación y utilidad real antes de ser aceptada."

Riesgo 2 – Privacidad y confidencialidad de los datos

Los responsables legales y de cumplimiento deben ser conscientes de que cualquier información introducida en ChatGPT, si no se desactiva el historial de chat, puede pasar a formar parte de su conjunto de datos de formación.

"La información sensible, privada o confidencial utilizada en los mensajes puede incorporarse a las respuestas de usuarios ajenos a la empresa», afirma Friedmann. «El área legal y de cumplimiento debe establecer un marco de cumplimiento para el uso de ChatGPT, y prohibir claramente la introducción de datos sensibles de la organización o personales en herramientas LLM públicas."

Riesgo 3 – Sesgo de modelo y de salida

A pesar de los esfuerzos de OpenAI para minimizar el sesgo y la discriminación en ChatGPT, ya se han producido casos conocidos de estos problemas, y es probable que persistan a pesar de los esfuerzos activos y en curso de OpenAI y otros para minimizar estos riesgos.

"La eliminación completa de los prejuicios es probablemente imposible, pero el departamento legal y de cumplimiento debe estar al tanto de las leyes que rigen los prejuicios de la IA y asegurarse de que sus directrices son conformes», dijo Friedmann. «Esto puede implicar trabajar con expertos en la materia para garantizar que la salida sea confiable y con funciones de auditoría y tecnología para establecer controles de calidad de datos."

Riesgo 4 – Riesgos relacionados con la propiedad intelectual (PI) y los derechos de autor

ChatGPT, en particular, se basa en una gran cantidad de datos de Internet que probablemente incluyen material protegido por derechos de autor. Por lo tanto, sus resultados pueden violar los derechos de autor o la protección de la propiedad intelectual.

"ChatGPT no ofrece referencias de fuentes ni explicaciones sobre cómo se generan sus resultados», afirma Friedmann. «Los responsables legales y de cumplimiento deben estar muy atentos a cualquier cambio en la ley de derechos de autor que se aplique a la salida de ChatGPT y exigir a los usuarios que examinen cualquier salida que generen para asegurarse de que no infringe los derechos de autor o de propiedad intelectual."

Riesgo 5 – Riesgos de fraude cibernético

Los malos actores ya están haciendo un uso indebido de ChatGPT para generar información falsa a escala (por ejemplo, reseñas falsas). Además, las aplicaciones que utilizan modelos LLM, incluido ChatGPT, también son susceptibles a la inyección de prompt, una técnica de hacking en la que se utilizan prompts adversarios maliciosos para engañar al modelo para que realice tareas para las que no estaba destinado, como escribir códigos de malware o desarrollar sitios de phishing que se asemejan a sitios conocidos.

"Los responsables jurídicos y de cumplimiento deberían coordinarse con los propietarios de los riesgos cibernéticos para estudiar la conveniencia o el momento de enviar memorandos al personal de ciberseguridad de la empresa sobre esta cuestión», afirma Friedmann. «También deberían realizar una auditoría de las fuentes de diligencia debida para verificar la calidad de su información".

Riesgo 6 – Riesgos para la protección del consumidor

Las empresas que no revelan el uso de ChatGPT a los consumidores (por ejemplo, en forma de chatbot de atención al cliente) corren el riesgo de perder la confianza de sus clientes y ser acusadas de prácticas desleales en virtud de diversas leyes. Por ejemplo, la ley de chatbot de California exige que en determinadas interacciones con los consumidores, las organizaciones deben revelar de forma clara y visible que un consumidor se está comunicando con un bot.

"Los responsables legales y de cumplimiento deben asegurarse de que el uso de ChatGPT por parte de sus organizaciones cumple con todas las normativas y leyes pertinentes, y de que se ha informado adecuadamente a los clientes", afirma Friedmann.