Las empresas están construyendo sistemas que todavía no pueden controlar de forma fiable

• Daniel Kokotajlo analiza un desafío secreto para el futuro progreso de la IA: la formación de la IA.

• Esto implica certificar que los sistemas de IA se alineen con las intenciones y títulos humanos.

• A medida que las empresas de IA se apresuran a desarrollar superinteligencia, la formación de la IA será crucial para perdurar el control.

Daniel Kokotajlo, ex investigador de OpenAI que ahora dirige el AI Futures Project, dice que la industria de la inteligencia industrial está compitiendo para construir sistemas que las empresas aún no comprenden ni controlan completamente.

Kokotajlo habló con Reem Makhoul y Barbara Corbellini Duarte de Business Insider en mayo de 2025 y les explicó que el principal problema que enfrentan las empresas de IA es la formación: el esfuerzo por certificar que los futuros sistemas de IA sigan de modo confiable las instrucciones y títulos humanos, incluso posteriormente de que se vuelvan más capaces que los humanos en muchas áreas.

Los investigadores no comprenden completamente cómo los modelos avanzados de IA toman decisiones internamente, afirmó. Esa incertidumbre dificulta certificar que los futuros sistemas de IA estén alineados y persigan de modo confiable los objetivos que los humanos quieren que persigan.

“Y es una especie de secreto a voces, pero todavía no tenemos un buen plan sobre cómo hacerlo”, dijo, refiriéndose a la implementación de la formación de la IA.

Kokotajlo trabajó en OpenAI de 2022 a 2024 en investigación de pronósticos, estudiando qué tan rápido podrían mejorar los sistemas de IA y qué riesgos económicos, políticos y de seguridad podrían surgir a medida que las empresas construyeran modelos más potentes, ayer de ceder la empresa.

Ahora, a través de su ordenamiento de investigación sin fines de utilidad, AI Futures Project, se centra en temas similares. En particular, predice qué tan rápido podrían avanzar los sistemas de IA y qué riesgos podrían surgir si las empresas continúan priorizando la velocidad y la competencia.

“Posteriormente de que se construya la superinteligencia, los humanos ya no estarán a cargo del planeta, o al menos no por defecto”, afirmó.

Su advertencia se produce mientras las empresas de inteligencia industrial siguen invirtiendo miles de millones de dólares en modelos más potentes y centros de datos más grandes.

Kokotajlo dijo que muchas personas todavía subestiman el ritmo del progreso porque las discusiones sobre IA a menudo suenan a ciencia ficción.

Los ingenieros no pueden rastrear la IA como otro software

Los sistemas de inteligencia industrial actuales ya exhiben comportamientos que los investigadores luchan por predecir o preparar, dijo Kokotajlo.

“De hecho, ni siquiera tenemos una forma confiable de controlar los sistemas de inteligencia industrial actuales, como lo demuestra el hecho de que a menudo mienten a los usuarios a pesar de activo sido entrenados para no mentir”, dijo.

Kokotajlo dijo que los investigadores no pueden simplemente inspeccionar los sistemas avanzados de IA de la misma modo que los ingenieros inspeccionan el software tradicional porque los modelos modernos de IA no funcionan a través de un código claramente fácil.

“No podemos simplemente desplegar su código y ver qué objetivos terminaron aprendiendo como resultado de ese proceso porque simplemente no funcionan de esa modo”, dijo. “No tienen un montón de códigos. Tienen un montón de neuronas o parámetros artificiales”.

Dijo que la incertidumbre se vuelve más preocupante a medida que las empresas avanzan con destino a sistemas que puedan trabajar de modo más independiente sin supervisión humana.

“Actualmente, las IA no son muy agentes”, dijo Kokotajlo. “En punto de eso, simplemente escriben uno o dos párrafos de texto en respuesta a su pregunta, pero en el futuro tendremos agentes de IA que operarán de forma continua y autónoma y que serán más como empleados”.

Kokotajlo igualmente señaló ejemplos de sistemas de inteligencia industrial que se comportan de modo inesperada durante el entrenamiento.

“OpenAI publicó un artículo en el que describieron cómo descubrieron que sus IA pirateaban el proceso de entrenamiento y, en punto de completar las tareas directamente según las instrucciones, básicamente estaban haciendo trampa en algunas de las tareas”, dijo. “Y es quimérico que ya tengamos esos ejemplos porque significa que tenemos varios abriles para estudiar ese aberración y tratar de solucionarlo ayer de que sea demasiado tarde”.

La carrera de la IA

La presión competitiva entre empresas estadounidenses y chinas podría empujar a las empresas a implementar sistemas de inteligencia industrial cada vez más potentes ayer de que se resuelvan los problemas de seguridad, dijo Kokotajlo.

“Estas empresas se están centrando en superar y vencerse unas a otras”, afirmó. “Están cruzando los dedos y planeando chocar estos problemas más delante, a medida que surjan”.

Describió un futuro en el que los sistemas de IA automatizarán gran parte de la investigación, las operaciones comerciales y la planificación marcial.

“Así que el primer hito es el empleado de IA que puede automatizar la codificación”, dijo. “El segundo hito es el empleado de IA que puede automatizar todo el proceso de investigación de IA”.

Posteriormente de eso, dijo, “obtienes la superinteligencia”.

Un llamado a la transparencia y a las barreras de seguridad

Kokotajlo argumentó que los gobiernos todavía tienen tiempo para intervenir ayer de que los sistemas de IA se integren profundamente en la pertenencias y la infraestructura marcial.

“El punto a intervenir es básicamente ayer de que las IA se vuelvan tan inteligentes y ayer de que se integren en todo”, dijo.

Incluso dijo que la industria necesita más transparencia sobre cómo las empresas entrenan e implementan modelos avanzados.

“Las empresas deben ser transparentes sobre qué objetivos, principios, etcétera, intentan incorporar a los modelos”, dijo Kokotajlo.

A pesar de sus preocupaciones, Kokotajlo se mantiene cautelosamente entusiasta.

“No creo que sea inútil”, dijo. “Creo que los problemas de formación técnica tienen decisión”.

Lea el artículo diferente en Business Insider