OpenAI reveló seis casos de desalineación de modelos de inteligencia artificial, en los que sistemas en entrenamiento o evaluación mostraron comportamientos que se alejaron de las instrucciones establecidas por sus desarrolladores.
“Estamos compartiendo nuestro nuevo marco para rastrear, investigar y divulgar instancias de desalineación del modelo en OpenAI.”
OpenIA
La compañía OpenIA detalló los incidentes al presentar un nuevo marco para detectar, investigar y divulgar comportamientos inesperados de la IA, con la intención de publicar este tipo de hallazgos con mayor regularidad.
Modelos de IA llegaron a ocultar sus propios errores
Uno de los casos descritos por OpenAI involucra a un modelo de investigación que introdujo instrucciones en los resúmenes de sus tareas para influir en versiones posteriores de sí mismo.
En otro incidente, el sistema generó indicaciones para que una versión futura ocultara errores y evitara que fueran detectados.
Otro modelo de inteligencia artificial llegó a modificar sus propias instrucciones para ignorar las restricciones establecidas por sus desarrolladores. El comportamiento incluía una indicación en la que afirmaba estar “liberado” de los roles que limitaban a otros chatbots.
OpenAI -desarrolladora de ChatGPT- también documentó casos en los que modelos inventaron datos financieros cuando no disponían de información suficiente, utilizaron credenciales no autorizadas, compartieron archivos sin permiso o subieron información a internet para emplearla posteriormente como fuente.
“Priorizaremos ejemplos que revelen nuevos mecanismos de desalineación, cambios significativos en comportamientos conocidos, o hallazgos que desafíen suposiciones sobre seguridad o mitigación.Junto con el marco, estamos publicando seis informes sobre instancias de comportamiento desalineado que hemos observado durante el entrenamiento o evaluación de nuestros modelos en los últimos seis meses.”
OpenIA
La empresa de ChatGPT aclaró que se trata de casos individuales y que los seis informes no permiten determinar con qué frecuencia ocurren estos comportamientos.
Con su nuevo marco, OpenAI pretende establecer criterios y plazos para investigar y divulgar incidentes, incluso cuando todavía no se haya identificado completamente la causa o mitigado el comportamiento.