Un exempleado de Anthropic, Jacob Coxon, asegura que la IA podría acabar con la humanidad en la próxima década

Jacob Coxon, exempleado de Anthropic y anteriormente de OpenAI, ha anunciado su dimisión denunciando que las principales empresas de inteligencia artificial están actuando de forma irresponsable en la carrera hacia el desarrollo de una superinteligencia capaz de mejorarse a sí misma.

«Hoy he renunciado a Anthropic. Durante los últimos tres años he trabajado en investigación sobre preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos compañías está actuando de forma responsable. Están avanzando a toda velocidad hacia una superinteligencia capaz de mejorarse a sí misma y están poniendo nuestras vidas en juego», ha declarado Coxon.

El investigador advierte sobre el poder de esta tecnología: «Pronto tendremos sistemas sobrehumanos capaces de hackear prácticamente cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos en el mundo real. Ya hemos sido testigos de los avances en cada uno de estos ámbitos, y el progreso no se está ralentizando».

Temor privado, discurso público moderado

Coxon revela que los desarrolladores de IA «creen sinceramente que esta tecnología podría acabar con todos nosotros antes de que termine la década». Según él, «muchos ejecutivos e investigadores de alto nivel moderan su discurso ante la prensa para parecer razonables, mientras que en privado he oído a esas mismas personas expresar su temor».

Sobre por qué continúan desarrollándola pese a los riesgos, explica que en OpenAI «muchos todavía no han interiorizado plenamente lo que está en juego», mientras que en Anthropic «esos riesgos se comprenden perfectamente, pero están atrapados en una carrera por llegar los primeros: creen que nadie más actuará de forma responsable y que, por tanto, deben hacerlo ellos, pese al riesgo».

Llamamiento a la coordinación internacional

El exempleado critica que «aceptar esta carrera y entrar en su fase final supone un acto de enorme soberbia que no debería decidirse desde el Slack de una empresa privada» y que «intentar resolver a toda prisa el problema del alineamiento debería exigir una confianza extraordinaria en que no existen alternativas mejores».

Coxon se muestra optimista sobre la posibilidad de alcanzar algún tipo de coordinación, señalando que «señales de alarma como el ataque a Hugging Face han hecho que los acuerdos para moderar el ritmo de desarrollo entre los laboratorios estadounidenses sean más viables». Sin embargo, advierte que «no creo que estemos en camino de evitar una carrera mundial, algo que podría exigir medidas drásticas, como una prohibición temporal de seguir aumentando las capacidades de los modelos».

Finalmente, hace un llamamiento directo a sus antiguos colegas: «¿De verdad quieres poner en marcha un entrenamiento mediante aprendizaje por refuerzo de una IA superinteligente sin comprender rigurosamente cómo funciona su mente? ¿Deberías limitarte a bajar la cabeza porque ‘va a suceder de todos modos’ o aprovechar este momento para exigir unas condiciones diferentes?»