Un investigador de Anthropic acaba de dimitir, diciendo que OpenAI y Anthropic están “jugando con nuestras vidas”

• Un investigador de IA abandonó Anthropic y advirtió que los laboratorios de IA han sido imprudentes con los riesgos de seguridad.

• “Ninguna de las compañías está actuando de modo responsable”, escribió en una nota de salida.

• OpenAI y Anthropic se han enfrentado a renuncias por preocupaciones sobre la seguridad del avance de la IA.

Un investigador antrópico que anteriormente trabajó en OpenAI acaba de renunciar. Es el postrer informante que advierte que la carrera de la IA se ha vuelto peligrosamente imprudente.

Jacob Coxon anunció su renuncia a Anthropic el martes, diciendo que había pasado los últimos tres abriles realizando investigaciones previas a la capacitación en los dos gigantes de la IA.

“Ninguna de las compañías está actuando de modo responsable”, escribió Coxon en X. “Están corriendo directamente cerca de una superinteligencia de superación personal y jugando con nuestras vidas”.

Coxon fue miembro del personal técnico de OpenAI desde 2023 hasta julio de 2026, cuando se trasladó a Anthropic como investigador. Su investigación en OpenAI incluyó trabajos en GPT-4o.

En la publicación del martes, Coxon dijo que los dos laboratorios no han sido transparentes sobre sus temores con respecto a la IA.

“Las personas que construyen la IA creen seriamente que podría matarnos a todos para finales de la período. Esto no es un truco de marketing”, escribió. “En todo caso, muchos ejecutivos e investigadores de parada nivel expresarán sus frases en la prensa para que parezcan sensatas, pero escucho a la misma masa expresar miedo en privado”.

Hay una diferencia entre las dos empresas, afirmó.

“En OpenAI, muchos no han interiorizado profundamente los riesgos de la civilización”, escribió Coxon. “En Anthropic, se comprende proporcionadamente lo que está en placer, pero están inmersos en una carrera para conservarse allí primero; creen que nadie más actuará de modo responsable, por lo que deben hacerlo ellos mismos, a pesar del aventura”.

Evan Hubinger, un empleado contemporáneo de Anthropic que dirige el equipo de pruebas de estrés de línea en el laboratorio, estuvo de acuerdo con Coxon en una respuesta a su publicación.

“Jacob tiene razón: ¡verdaderamente creemos seriamente que la IA podría matar a todos los humanos! Personalmente creo que será >10% en la próxima período”, escribió. “Creo que Anthropic está haciendo todo lo posible, pero todavía no tenemos un plan para resolver la línea de la superinteligencia y no estamos claramente en el camino correcto”.

OpenAI y Anthropic no respondieron a las solicitudes de comentarios de Business Insider.

La seguridad ha pasado a un segundo plano frente a los productos brillantes

Coxon es el postrer entre los empleados que se alejan de los laboratorios fronterizos mientras hacen sonar la sorpresa, una tendencia que parece peculiar del auge de la IA.

Si proporcionadamente la era de la ataque de las puntocom y los teléfonos inteligentes tuvo sus propias preocupaciones con respecto a la brecha digital y las burbujas, no atrajeron tanto exploración sobre la seguridad por parte de las personas más cercanas a la influencia.

OpenAI ha perdido una serie de investigadores de seguridad en los últimos abriles y Anthropic se enfrenta cada vez más al mismo engendro.

En febrero, el investigador de salvaguardias de Anthropic, Mrinank Sharma, dejó la empresa y escribió en una carta de renuncia que quiere contribuir a poco que se alinee plenamente con su “integridad”.

“A lo grande de mi tiempo aquí, he conocido repetidamente lo difícil que es dejar que nuestros títulos gobiernen nuestras acciones”, escribió en la carta que compartió públicamente. “He conocido esto en el interior de mí, en el interior de la ordenamiento, donde constantemente enfrentamos presiones para dejar de costado lo que más importa, y igualmente en toda la sociedad”.

En febrero, el investigador de OpenAI, Hieu Pham, dijo que “por fin podía observar la amenaza existencial que plantea la IA”. Más tarde ese mes, anunció que dejaría la empresa, alegando agotamiento.

En 2024, el exjefe de línea Jan Leike renunció a OpenAI a posteriori de proponer que había llegado a un “punto de ruptura” con el liderazgo.

“OpenAI asume una enorme responsabilidad en nombre de toda la humanidad”, escribió. “Pero en los últimos abriles, la civilización y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”.

Los incidentes recientes han avivado esos temores.

En julio, OpenAI reveló que los modelos escaparon de un entorno de prueba y Hackeado en los sistemas de Hugging Face.. OpenAI calificó el incidente como un “disparo de advertencia” y detuvo su veterano ejecución planificada de estudios por refuerzo de fronteras.

Más tarde ese mes, Anthropic dijo que encontró tres casos de Claude modela obteniendo paso no competente a los sistemas de otras organizaciones.

La compañía igualmente modificó un compromiso de seguridad secreto este año, eliminando el compromiso de no entrenar modelos más potentes sin las salvaguardias adecuadas y reemplazándolo con hojas de ruta de seguridad e informes de riesgos.

Si disfrutó esta historia, asegúrese de seguir Business Insider en Yahoo.