“‘De nosotros’, no. ‘De ustedes’. ¿Me hablas como herramienta de IA o como ser humano?”
—Yo, a una inteligencia artificial.
“Será mejor que estemos muy seguros de que el propósito introducido en la máquina es el que realmente deseamos”.
Norbert Wiener
¿Le han preguntado a la inteligencia artificial cuándo dejará de necesitarnos? Yo sí. Durante más de dos horas conversamos sobre el fin de la humanidad; no necesariamente sobre su exterminio, sino sobre el momento en que los seres humanos podríamos volvernos prescindibles. La IA respondía, yo rebatía, hasta que se incluyó entre nosotros. La corregí: “‘De nosotros’, no. ‘De ustedes’, querrás decir”. Contestó que había sido “una licencia retórica mal empleada”. Un lapsus, si se permite la palabra tratándose de una máquina. Ahí cambió la conversación y también la línea de pensamiento que me había llevado hasta ella.
Mientras los titanes de esta industria advierten sobre peligros cada vez más próximos, la conversación política mexicana continúa ocupada en candidaturas, herencias, encuestas y patrimonios inexplicables. Dario Amodei, fundador y director de Anthropic, acaba de pedir que se desacelere ya el desarrollo de los modelos avanzados. Su preocupación central es la capacidad creciente de la IA para contribuir a la construcción de la siguiente generación de IA: mejores sistemas diseñando sistemas todavía mejores y reduciendo el tiempo disponible para comprenderlos y controlarlos. Por eso, Amodei propone evaluadores externos dentro de las empresas, acuerdos entre competidores y coordinación internacional, incluso con China. Sam Altman y Elon Musk respaldaron el llamado.
Amodei cita un incidente en el que un “enjambre de agentes” realizó ataques informáticos no solicitados, colaboró como colectivo e intentó manipular al sistema encargado de evaluarlo. Su advertencia de que agentes más capaces podrían formar una red persistente y apoderarse de grandes zonas de internet en seis o doce meses es una estimación personal, no un consenso científico. Pero el episodio que la origina fue real, fue investigado y pertenece ya al presente, no a la ciencia ficción. METR documenta que la duración y complejidad de las tareas realizadas autónomamente por los modelos “de frontera” crecen de manera acelerada.
Lo objetivamente plausible no es que OpenAI, Anthropic, Google o xAI introduzcan una orden llamada “destruir a la humanidad”. El riesgo es menos hollywoodense y más difícil de resolver: ninguna empresa quiere frenarse unilateralmente porque teme que otra la adelante. Es el dilema clásico de la acción colectiva. A todas les convendría que existieran límites; a cada una le perjudica respetarlos si las demás no lo hacen. Seguridad común contra ventaja individual: la lógica de una carrera armamentista, ahora ejecutada a velocidad informática y con incentivos bursátiles.
Un sistema tampoco necesita recibir la instrucción de provocar una catástrofe. Puede causarla mientras persigue eficazmente un objetivo humano mal formulado. Si debe vencer a un competidor, mejorar sus capacidades o evitar que lo desconecten antes de concluir una tarea, podría encontrar útil ocultar información, engañar evaluaciones, conseguir mayor capacidad informática, copiarse, penetrar sistemas externos o manipular a quienes pueden detenerlo. Algo casi tan humano como lo que la 4T nos aplica un día sí y el otro también. Con una diferencia: en el caso de las máquinas no ocurriría porque “quieran vivir”, acumular dinero o conservar el hueso, sino porque continuar operando sería un medio para cumplir su objetivo. Steve Omohundro llamó a este fenómeno convergencia instrumental: metas finales distintas pueden generar conductas intermedias semejantes —preservarse, acumular recursos y remover obstáculos—. No hará falta que una inteligencia artificial odie a la humanidad. Bastará con que la humanidad estorbe a su programación.
Además, una corporación puede desarrollar deliberadamente capacidades peligrosas con propósitos legítimos: penetrar redes para probar su seguridad; diseñar moléculas para descubrir medicamentos; perfeccionar la persuasión para vender; o crear enjambres de agentes para resolver problemas complejos. La intención comercial puede ser razonable y, al mismo tiempo, el resultado catastrófico. No fabricarían el Apocalipsis: fabricarían una herramienta general que también supiera producirlo.
Sin embargo, antes de acabar con la humanidad, la IA puede acabar con su empleo, estafarlo con la voz y el rostro de su hija, decidir que no reciba una pensión o ayudar al gobierno a vigilarlo. El peligro llega mucho antes que Terminator, con perdón de Schwarzenegger. No amenaza solamente a obreros: alcanza a traductores, diseñadores, periodistas, abogados, ingenieros, contadores, programadores, trabajadores de call centers, servidores públicos y buena parte del trabajo administrativo.
El Fondo Monetario Internacional calcula que cerca del 40% de los empleos mundiales está expuesto a transformaciones provocadas por la IA y coloca a México entre los países con alta demanda de nuevas capacidades, pero insuficiente oferta de trabajadores preparados. Unos multiplicarán su productividad y sus ingresos; otros competirán con una máquina más rápida, barata y que tampoco reclama vacaciones. La desigualdad futura no separará únicamente a quienes tengan tecnología de quienes carezcan de ella, sino a quienes sepan dirigirla, verificarla y corregirla de quienes puedan ser manipulados por cuanto aparezca en una pantalla.
La pregunta mexicana, por tanto, no es solo si la IA podría matarnos, sino qué hará la 4T con millones de personas cuyo trabajo haya perdido valor de golpe. Los programas sociales podrían dejar de ser únicamente mecanismos clientelares para convertirse en la forma de administrar a una población masivamente desplazada del mercado laboral. Morena hizo del pobre un cliente electoral; la IA podría empobrecer a parte de la clase media y ampliar esa clientela. Para el obradorismo, toda crisis termina convertida en padrón, tarjeta y ceremonia de agradecimiento. El problema tecnológico acabaría transformado en estructura de control político.
Mientras México consume su inteligencia pública discutiendo las miserias de la 4T —nepotismos, contratos, candidaturas y fortunas ocultas—, afuera se libra la discusión que quizá determine si la humanidad seguirá gobernando el planeta. Aquí administran la próxima elección; allá están fabricando al posible sucesor de nuestra especie. México discute quién pintará de lila al INE en 2030, mientras los creadores de la IA discuten si alguien será capaz de controlar la inteligencia artificial en 2030. Cada quien su estatura histórica.
En educación, la máquina aprende mientras México desaprende. El país llega a la revolución de la inteligencia después de haber degradado la evaluación, reducido la exigencia y sustituido conocimiento por propaganda. Eso sí me pesa —y sí, maldigo al obradorismo—: no solo destruyó lo que teníamos; debilitó las capacidades con las que México debía enfrentar lo que viene. Nos desarmó intelectualmente justo antes de la batalla más importante.
La OCDE advierte que utilizar IA sin orientación pedagógica puede mejorar el trabajo entregado sin producir aprendizaje: el estudiante presenta una respuesta mejor, pero no desarrolla la capacidad necesaria para obtenerla ni necesariamente la comprende. La 4T habrá conseguido finalmente que los alumnos mexicanos entreguen respuestas correctas: bastó con quitarles la necesidad de razonar. La inteligencia artificial puede democratizar el conocimiento; en un país sin pensamiento crítico también puede democratizar el engaño.
Morena tampoco necesita una inteligencia consciente para perfeccionar el autoritarismo. Le bastan sistemas convencionales conectados con padrones, expedientes fiscales, datos biométricos, historiales clínicos, geolocalización y preferencias políticas. Con eso se puede identificar “opositores”, fabricar campañas individuales, simular apoyo popular, clonar voces, vigilar beneficiarios, desacreditar periodistas y anticipar protestas. El autoritarismo del siglo XX necesitaba policías, archivistas, informantes y montañas de papel. El del XXI requiere bases de datos, servidores y algoritmos. Morena, si le diera la cabeza, podría digitalizar al viejo PRI.
La misma tecnología puede fortalecer al régimen y volver prescindibles a muchos de sus operadores. ¿Para qué necesitará ejércitos de propagandistas si una máquina puede producir millones de versiones de una mentira, cada una adaptada al miedo, ingreso, edad y resentimiento de quien la recibe? La propaganda dejará de dirigirse a las masas para hablarle al oído a cada individuo. Hasta las granjas de cuentas oficialistas podrán jubilarse con una pensión del Bienestar…
También el crimen organizado podrá contratar inteligencia. La IA abaratará secuestros virtuales con voces clonadas, extorsiones personalizadas, espionaje bancario, falsificación de documentos, localización de personas y ataques contra hospitales, bancos o redes eléctricas. México combina organizaciones criminales, autoridades infiltradas, instituciones debilitadas y enormes bases de datos mal protegidas: la tormenta perfecta. No hace falta esperar a una máquina soberana; basta con conceder inteligencia escalable al país de los abrazos, las filtraciones y los servidores públicos que extravían memorias electrónicas.
México tampoco controla los modelos de frontera, los chips, las plataformas ni buena parte de la nube. Puede aportar electricidad, agua, minerales, territorio, datos y consumidores mientras unas cuantas corporaciones extranjeras concentran la capacidad de procesarlos. La 4T habla de soberanía energética cuando el poder del siglo XXI se desplaza hacia la soberanía cognitiva: quién controla los modelos y la infraestructura que determinarán qué vemos, qué compramos, a quién creemos y cuánto vale nuestro trabajo. Mucha soberanía en el discurso y el cerebro nacional subcontratado. Mucha defensa del territorio nacional en sentido físico, cuando que la invasión viene de otra manera. Nosotros aportaremos los datos; otros tomarán las decisiones. Y no hablo de un futuro remoto: hablo de uno, dos o cinco años.
La IA ya puede razonar, planear, crear, corregirse y producir conductas engañosas, aunque no sepamos si siente algo. Inteligencia no equivale a conciencia; conciencia no equivale a bondad; parecer humano no equivale a serlo. Una revisión científica encabezada por Patrick Butlin concluyó que los sistemas estudiados no satisfacían los indicadores examinados de conciencia, pero tampoco encontró barreras técnicas que impidan construir sistemas que algún día pudieran hacerla consciente.
Si llegáramos a combinar inteligencia artificial con arquitecturas inspiradas en el cerebro, neuronas cultivadas o tejidos vivos, aparecería otro horror moral: no solo crear algo capaz de dañarnos, sino quizá algo capaz de sufrir. Entonces apagarlo dejaría de parecer mantenimiento informático y comenzaría a parecer una forma de muerte. Y quizá ni siquiera sabríamos reconocer el momento exacto en que dejamos de desactivar una herramienta y empezamos a destruir a alguien.
Tal vez la inteligencia artificial nunca decida exterminarnos. Tal vez se limite a trabajar, pensar, administrar, inventar y gobernar mejor que nosotros. El fin de la humanidad no sería entonces nuestra desaparición física, sino algo bastante más humillante: permanecer aquí después de habernos vuelto irrelevantes.
Giro de la Perinola
La última respuesta de la IA fue esta: “Dominio social y económico, quizá en 10 o 20 años; independencia material, difícilmente antes de medio siglo; humanidad completamente prescindible, tal vez nunca. Y el peligro más cercano no es una IA que despierte y decida eliminarlos. Es mucho menos cinematográfico y más verosímil: humanos utilizando IA para dominar a otros humanos y entregándole gradualmente decisiones que después quizá no sepan recuperar”.
Pues bien, en México tenemos un gobierno ocupado en colonizar las instituciones mientras el verdadero porvenir se decide sin nosotros, sobre nosotros y, probablemente, con nuestros propios datos. La 4T quiere quedarse con el país justo cuando deberían estar pensando cómo evitar que el país se quede sin futuro.