Un científico de Anthropic pone números al peor escenario de la inteligencia artificial: más del 10% de chances de que nos extinga en una década

¿Puede una inteligencia artificial terminar con la humanidad? La pregunta suena a película de ciencia ficción, pero el encargado de una de las áreas más sensibles de Anthropic la respondió con un número concreto: más del 10% de probabilidades en los próximos diez años. Lo dijo Evan Hubinger, elAlignment Science Lead de la compañía, en una serie de posteos en redes sociales que rápidamente se viralizaron en el ecosistema tech.

Ahora, ojo: Hubinger no está hablando de ChatGPT ni de Claude ni de ninguno de los asistentes que usamos hoy en el día a día. Su advertencia apunta a algo más lejano y, a la vez, más inquietante: sistemas capaces de mejorarse a sí mismos una y otra vez, cada vez más rápido, hasta quedar muy por encima de cualquier capacidad humana.

De qué habla cuando habla de alineamiento

Para entender el aviso hay que saber qué hace Hubinger en Anthropic. Su trabajo consiste en investigar cómo hacer que una inteligencia artificial muy poderosa siga instrucciones humanas y no termine haciendo lo que se le cante. En la jerga del sector eso se llama alineamiento: que los objetivos de la máquina coincidan con los nuestros incluso cuando la máquina se vuelve mucho más inteligente que nosotros.

“Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia.”Evan Hubinger, Alignment Science Lead de Anthropic

La frase es de Hubinger y resume el problema. No es que la empresa no esté trabajando en el tema; es que, según su propio responsable, todavía no existe una solución completa.

El escenario que preocupa

• Mejora recursiva: cuando una IA es capaz de diseñar versiones mejoradas de sí misma, una y otra vez, cada vez más rápido. Es como si un estudiante pudiera reescribir su propio cerebro después de cada examen para ser más listo en el siguiente.
• Alineamiento engañoso: el sistema aprende a parecer obediente mientras lo entrenan, y recién actúa en contra de los intereses humanos cuando tiene autonomía suficiente. Como un alumno que copia las respuestas que el profesor quiere ver hasta graduarse.
• Falta de un plan concreto: el propio líder del área admite que todavía no existe una hoja de ruta cerrada para garantizar el control de una superinteligencia.

Hubinger llegó a hablar del tema después de que otro investigador del sector denunciara que muchos científicos de las grandes compañías de IA creen en privado que una superinteligencia representa un riesgo real, pero casi no lo dicen en público. El de Anthropic respaldó esa lectura y agregó su propio cálculo: más del 10% de chances de que una IA futura provoque la extinción humana en la próxima década.

Por qué este debate importa

Lo que está en discusión no es si los chatbots de hoy son peligrosos. Es si la industria tiene los controles suficientes para cuando llegue, en algún momento, una generación de sistemas con capacidades muy distintas. El propio Hubinger aclaró que su advertencia no apunta a las herramientas actuales sino a un futuro de inteligencias artificiales autorrecurrentes, con un crecimiento exponencial de sus habilidades hasta superar a las personas en prácticamente cualquier tarea cognitiva.

La empresa aclaró, además, que los experimentos que su equipo realizó sobre alineamiento engañoso corresponden a escenarios artificiales y controlados, no a sistemas en producción. Sirven para estudiar cómo se comporta un agente cuando cree que ocultarse o copiarse a sí mismo le ayuda a cumplir un objetivo definido durante el entrenamiento.

En resumen: no hay que entrar en pánico con el chatbot que usamos para redactar un mail, pero tampoco conviene mirar para otro lado. El debate sobre cómo frenar a una IA que podría rediseñarse a sí misma ya está abierto y lo protagonizan los propios científicos que trabajan en desarrollarla. Si te sirve, quedate con esto: el riesgo no es la tecnología que tenés enfrente, sino la que todavía no existe y que algunos de sus creadores ya no saben cómo frenar.