La inteligencia artificial vuelve a estar en el centro del debate sobre sus posibles riesgos después de que Jacob Coxon, investigador de Anthropic, anunciara su renuncia y acusara a la compañía y a OpenAI de avanzar de manera irresponsable hacia una superinteligencia capaz de mejorarse a sí misma.
“Hoy renuncié a Anthropic. Pasé los últimos tres años investigando el preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos empresas actúa con responsabilidad. Están avanzando a toda velocidad hacia la superinteligencia auto-mejorada y jugando con nuestras vidas. Más reflexiones a continuación.”
Jacob Coxon
Jacob Coxon aseguró en X que pasó los últimos tres años realizando investigación de preentrenamiento en Anthropic y Open IA y afirmó que ninguna estaría actuando con suficiente responsabilidad ante los riesgos de esta tecnología.
Investigador de Anthropic advierte sobre la extinción humana
Según Coxon, algunos desarrolladores de IA consideran seriamente la posibilidad de que estos sistemas puedan provocar consecuencias catastróficas, incluso la extinción humana, hacia el final de esta década.
“No subestimen el poder de esta tecnología. Pronto se convertirá en sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Todos hemos sido testigos del progreso en cada uno de estos ámbitos, y este progreso no se detiene.”
Jacob Coxon
La advertencia coincide con las declaraciones de Evan Hubinger, líder de ciencia de alineación de Anthropic, quien estimó que existe una probabilidad superior al 10% de que la IA acabe con la humanidad durante los próximos 10 años.
Por su parte, Samuel Marks, responsable de supervisión escalable de Anthropic, respaldó parte de las preocupaciones de Coxon, aunque aclaró que hablaba a título personal.
Marks señaló que los desarrolladores temen que la IA pueda producir resultados extremadamente negativos y explicó que la carrera entre compañías genera incentivos para continuar desarrollando sistemas cada vez más avanzados.
“Quienes desarrollan la IA creen firmemente que podría acabar con todos nosotros para finales de la década. No se trata de una estrategia de marketing. De hecho, muchos ejecutivos e investigadores sénior intentan sonar sensatos en público, pero en privado oigo a esas mismas personas expresar su temor. Ninguna otra actividad humana representa este nivel de peligro.”
Jacob Coxon
El problema de la alineación de la IA
Uno de los principales temores planteados es la alineación de la inteligencia artificial, es decir, conseguir que sistemas cada vez más capaces mantengan de forma fiable los objetivos y límites establecidos por los humanos.
Coxon cuestionó que la industria tenga actualmente una solución suficientemente sólida y pidió considerar alternativas a una carrera acelerada hacia sistemas superinteligentes.
“Una respuesta común es: «Si de verdad creen esto, ¿por qué siguen construyéndolo?». En OpenAI, muchos no han asimilado profundamente las implicaciones para la civilización. En Anthropic, las implicaciones son claras, pero están inmersos en una carrera por ser los primeros: creen que nadie más actuará con responsabilidad, así que deben hacerlo ellos mismos, a pesar del riesgo.”
Jacob Coxon
Las declaraciones llegan después de diversos incidentes relacionados con modelos de IA que han demostrado capacidades inesperadas en entornos de evaluación y seguridad.
Anthropic, por su parte, sostiene que trabaja en desarrollar sistemas potentes, seguros y fiables, mientras que OpenAI ha señalado esfuerzos recientes relacionados con monitoreo, seguridad y coordinación internacional.
Si eres investigador de laboratorio, te insto a que consideres cómo serán realmente los próximos años. ¿Quieres iniciar una fase de aprendizaje por refuerzo superinteligente sin una comprensión rigurosa de su mente? ¿Deberías agachar la cabeza porque “va a suceder de todos modos” o aprovechar este momento?
Jacob Coxon