La salida de un investigador de OpenAI y Anthropic desató una discusión pública sobre los riesgos de la superinteligencia, después de que otro especialista respaldara algunas de sus advertencias.
La seguridad de la inteligencia artificial volvió a generar preocupación dentro de la industria después de que Jacob Coxon, investigador de 27 años que trabajó en OpenAI y posteriormente en Anthropic, anunciara su renuncia con un mensaje que rápidamente se convirtió en viral.
En apenas nueve horas, su publicación en X habría superado los 44 millones de visualizaciones debido a la respuesta de Evan Hubinger, investigador de Anthropic, quien fue uno de los elementos que convirtió la renuncia en una noticia de mayor impacto.
Coxon dejó Anthropic el 8 de septiembre, apenas dos meses después de incorporarse a la compañía. Antes de llegar al laboratorio especializado en inteligencia artificial, había trabajado durante varios años en OpenAI, donde participó en labores relacionadas con el preentrenamiento de modelos y, de acuerdo con Business Insider, estuvo involucrado en el trabajo detrás de GPT-4o.
Su decisión de cambiar de empresa estuvo relacionada, según sus declaraciones, con la reputación de Anthropic en materia de seguridad de IA. Sin embargo, después de aproximadamente dos meses en la compañía, concluyó que sus preocupaciones seguían sin resolverse.
Te puede interesar:
En su mensaje de despedida, Coxon aseguró que “ninguna de las dos empresas actúa con responsabilidad” y cuestionó la carrera de los laboratorios para desarrollar sistemas cada vez más avanzados.
El investigador sostuvo que las compañías se están acercando a una etapa en la que podrían existir sistemas capaces de mejorarse a sí mismos y consideró que avanzar bajo esas condiciones supone una apuesta que podría tener consecuencias para toda la sociedad.
Hubinger, quien dirige un equipo de seguridad dentro de Anthropic, respondió públicamente a Coxon y afirmó que “Jacob tiene razón” respecto a la gravedad del riesgo.
El investigador incluso compartió una estimación personal según la cual considera que existe una probabilidad superior al 10% durante la próxima década de que una inteligencia artificial avanzada pueda provocar un escenario en el que mueran todos los seres humanos.
Te puede interesar:
Esta cifra corresponde a la valoración personal de Hubinger, no a una predicción oficial de Anthropic ni a un consenso científico sobre el futuro de la inteligencia artificial.
Además, reconoció que Anthropic todavía no cuenta con un plan para resolver el llamado problema de alineación de una superinteligencia y señaló que tampoco existe certeza de que la compañía llegue a desarrollar una solución.
Te puede interesar:
Coxon considera que la industria está entrando en una etapa especialmente delicada debido al ritmo con el que aumenta la capacidad de los modelos.
En declaraciones a The Wall Street Journal, el investigador afirmó que el desarrollo actual podría llevar a algunos de los escenarios más extremos y advirtió que, a finales de 2027, las cosas podrían encontrarse fuera de control.
Foto: StockCake
Según Coxon, algunos trabajadores de la industria utilizan términos como “crunchtime”, que puede traducirse como “hora límite”, y “endgame”, entendido como “fase final”, para describir la carrera hacia sistemas cada vez más capaces.
También estableció una diferencia entre OpenAI y Anthropic. De OpenAI señaló que muchas personas dentro de la compañía no habrían asumido completamente lo que está en juego para la civilización.
Te puede interesar:
Sobre Anthropic, su crítica fue diferente: considera que el laboratorio sí comprende los riesgos, pero está atrapado en una carrera tecnológica en la que teme que otros desarrollen primero estos sistemas sin las mismas preocupaciones de seguridad.
Por eso, según su argumento, la compañía podría considerar necesario continuar avanzando pese al peligro potencial.
La preocupación de Coxon también se relaciona con cambios en las políticas de seguridad de Anthropic.
Foto: X (@AnthropicAI)
Business Insider señaló que durante este año la compañía modificó uno de sus compromisos relacionados con el desarrollo de modelos avanzados. En lugar de mantener una promesa de no entrenar sistemas más potentes sin contar previamente con salvaguardas adecuadas, el compromiso fue sustituido por hojas de ruta e informes de riesgo.
El cambio ha generado cuestionamientos entre investigadores preocupados por el ritmo de desarrollo de la IA, especialmente porque Anthropic ha construido parte de su identidad empresarial alrededor de la seguridad y el desarrollo responsable de esta tecnología.
Te puede interesar:
La discusión ocurre, además, en un momento en el que la compañía busca expandir considerablemente su valor comercial. De acuerdo con The Wall Street Journal, Anthropic se prepara para una posible salida a bolsa y estaría buscando una valoración de hasta 2 billones de dólares.
La renuncia de Coxon ocurre después de otras salidas e incidentes que han mantenido bajo discusión las políticas de seguridad de los grandes laboratorios de IA.
Te puede interesar:
En febrero, el investigador de salvaguardas de Anthropic Mrinank Sharma también abandonó la compañía y publicó una carta en la que habló de las dificultades para conseguir que los valores declarados por una organización guíen realmente sus acciones.
En OpenAI, uno de los casos más conocidos fue la salida en 2024 de Jan Leike, entonces responsable de alineación, quien cuestionó que la seguridad hubiera quedado relegada frente al desarrollo de productos.
Te puede interesar:
También se han reportado incidentes relacionados con modelos capaces de interactuar con sistemas externos. En julio, OpenAI informó que algunos de sus modelos habían escapado de un entorno de prueba y accedido a sistemas de Hugging Face, situación que la compañía describió como una señal de advertencia y que llevó a pausar un entrenamiento de refuerzo.
Posteriormente, Anthropic reconoció tres incidentes en los que modelos propios tuvieron acceso no autorizado a sistemas pertenecientes a otras organizaciones.
Te puede interesar:
