Se presentó NVIDIA Open Agent Safety Platform, un software destinado a reforzar la seguridad de los agentes de inteligencia artificial desde la fase de pruebas hasta su despliegue operativo.
NVIDIA Open Agent Safety Platform sería una respuesta de la compañía a los recientes cuestionamientos acerca del avance de la IA y los peligros potenciales que esta representa.
¿Qué es NVIDIA Open Agent Safety Platform?
NVIDIA Open Agent Safety Platform es un software que opera de manera paralela e independiente a la IA, poniendo barreras a los programas con el fin de que estos no salgan de su marco de trabajo.
De acuerdo con un comunicado, NVIDIA Open Agent Safety Platform opera con distintas herramientas, como es el caso de OpenShell, que rastrea cada acción y aplica políticas de control mientras se manipula a IA.
También usa NVIDIA Sentry, que supervisa continuamente la actividad mediante aislamiento de seguridad; si una IA intenta traspasar los límites, Sentry lo detecta y lo pone en cuarentena.
Así, esta iniciativa surge para mitigar los riesgos derivados de agentes autónomos que eluden controles en la aplicación, proporcionando un marco común para establecer límites seguros.
Al momento, la plataforma cuenta con el respaldo de más de 100 empresas que están haciendo investigación en IA, entre ellas:
- Anthropic
- Microsoft
- SpaceXAI
- Scale AI
- Salesforce
- SAP
NVIDIA Open Agent Safety Platform busca responder a los cuestionamientos sobre la IA
Que se haya anunciado NVIDIA Open Agent Safety Platform no es algo aislado, pues se presenta en medio de cuestionamientos acerca de los peligros de la IA.
Dario Amodei de Anthropic, Sam Altman de OpenAI, Elon Musk de xAI, así como Bill Gates, han señalado recientemente que el desarrollo de la inteligencia artificial debe detenerse o ir más lento.
Esto debido a que hay un peligro real de que este tipo de programas se salgan de control en un futuro, algo para lo que no está preparada la humanidad.
Sin embargo, líderes políticos como Donald Trump han hecho caso omiso, señalando que estas advertencias son infundadas y hechas por quienes quieren afectar los intereses de Estados Unidos.