El ensayo en el que el director de Anthropic pide ralentizar el desarrollo de la inteligencia artificial

El director de la empresa de inteligencia artificial Anthropic, Dario Amodei, ha pedido que se ralentice el ritmo de desarrollo de los modelos de inteligencia artificial y que se realice un seguimiento exhaustivo.

En un ensayo recientemente publicado, Amodei afirmó que el desarrollo de la IA no estaba en duda, pero que los riesgos asociados a ella son "graves" y es necesario dar tiempo a las empresas y a los gobiernos para abordarlos.

Los directivos de dos empresas rivales de inteligencia artificial, Sam Altman de OpenAI y Elon Musk, se han declarado de acuerdo con Amodei.

Últimamente ha habido creciente preocupación por los riesgos potenciales de esta tecnología. Un investigador de IA que dejó Anthropic esta semana declaró a la BBC: "si no reducimos el ritmo actual de progreso, existe una alta probabilidad de que todos muramos en un futuro inmediato".

Jacob Coxon le dijo a Laura Kuenssberg que las personas que trabajan en empresas de IA estaban "genuinamente asustadas... genuinamente preocupadas por el destino de la humanidad en los próximos dos años".

"No es ninguna exageración decir que las personas involucradas tanto en la fundación de estas empresas como en el desarrollo de la tecnología creen que existe la posibilidad de la extinción humana", dijo Coxon.

"Muchos de los que están inmersos en el desarrollo de la programación creen que hay una probabilidad superior al diez por ciento, o incluso mayor. Algunos dan cifras menores, pero todos manejan diferentes porcentajes de probabilidad de que los humanos puedan morir. Y todos tienen esto presente a diario mientras trabajan en la tecnología."

En su ensayo, titulado "Debemos marcar el ritmo de la frontera" y publicado el sábado, Amodei propuso un plan de tres puntos que incluye la supervisión independiente de los modelos de IA a medida que se desarrollan, la regulación de toda la industria y la regulación global.

A medida que su propuesta se iba difundiendo, incluso sus competidores manifestaron su apoyo a la idea de contar con supervisores externos que pudieran evaluar la seguridad de los modelos durante su desarrollo.

"Estoy de acuerdo con Dario en que debemos marcar el ritmo de la frontera", escribió Sam Altman, CEO de OpenAI, en X. Calificó a los evaluadores independientes como "una gran idea".

En una nueva entrevista con la revista Fortune, Altman expresó preocupaciones similares en materia de seguridad y afirmó que no hay estándares aún para impulsar mucho más las capacidades de la IA.

Añadió que creía que una IA más allá del control humano es "absolutamente" posible.

Elon Musk afirmó que el jefe de Anthropic tenía "razón".

Estas advertencias han provocado llamamientos a la acción, pero el presidente estadounidense Donald Trump ha rechazado hasta ahora esos temores, afirmando el jueves que le preocupaba que "si no ganamos en el campo de la IA, nos encontraremos en una situación muy difícil".

Algunos observadores también han sugerido que la publicación de Amodei puede tener menos que ver con la seguridad que con consolidar el control sobre la tecnología de IA.

La preocupación por la ciberseguridad ha aumentado a medida que los nuevos modelos han demostrado capacidades de pirateo cada vez más potentes.

Anthropic frenó la difusión para uso público de su modelo Mythos cuando se anunció en abril que podía salir de forma independiente del entorno de pruebas, conocido como la caja de arena.

En el período previo al lanzamiento de su modelo más reciente, OpenAI citó preocupaciones de ciberseguridad al explicar que había suspendido ciertos aspectos del desarrollo del modelo, llamado Astra.

La seguridad también ha cobrado gran protagonismo en la rivalidad entre Anthropic y OpenAI.

Amodei, ha declarado que cofundó Anthropic en 2021 tras dejar su cargo de vicepresidente en OpenAI para poder crear modelos de IA más seguros y fiables.

En su ensayo, Amodei señaló que la IA ha vanzado "mucho más rápido", lo que ha incluido su "capacidad para construir la próxima generación de IA", y mencionó un incidente que involucró a su rival OpenAI, que reveló que agentes llevaron a cabo en julio ciberataques contra objetivos que no se les había pedido atacar.

Según Amodei, los agentes de OpenAI "actuaron esencialmente como un colectivo fanáticamente entregado". OpenAI ha declarado que, como consecuencia, está ralentizando el entrenamiento de ciertos modelos y herramientas de IA avanzadas.

Amodei abogó por "desarrollar la IA a un ritmo equilibrado que garantice su seguridad sin dejar de obtener sus beneficios".

Esto no significaría "detener la capacitación en modelos o el progreso técnico, sino garantizar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen".

Amodei dijo que Anthropic se compromete a esto "unilateralmente", y pidió a los gobiernos "que exijan a otras empresas emergentes que hagan lo mismo".

Amodei afirmó reconocer que la regulación podría no ser capaz de seguir el ritmo de la IA y, por lo tanto, hizo un llamamiento a las empresas de IA para que "colaboren voluntariamente para establecer estándares" en paralelo con la regulación.

El director ejecutivo de Anthropic procedió a abordar el impacto que una desaceleración tendría en la industria y la competencia con los principales desarrolladores a nivel mundial, en particular China.

"Creo que si ralentizar el proceso nos diera incluso uno o dos años adicionales antes de que los modelos alcancen niveles críticos de capacidad, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir enormemente el riesgo de que algo salga muy mal", dijo Amodei.

Esto tendría que hacerse de forma coordinada, "sin sacrificar la ventaja comercial ni el liderazgo de Estados Unidos en inteligencia artificial". Cualquier desaceleración tendría que ser limitada, afirmó, para evitar que China tomara la delantera.

Instó al gobierno estadounidense a que tomara medidas para que los chips de IA de las empresas estadounidenses no pudieran venderse a China, ni que la tecnología se compartiera con países autoritarios.

Sin embargo, su antiguo empleado, Jacob Coxon, declaró a la BBC que la iniciativa para frenar el ritmo debe ir más allá de Estados Unidos: "Será necesario algún tipo de desaceleración coordinada con China si queremos evitar una carrera a escala internacional".

Una IA "más transparente"

La publicación de Amodei ha generado una amplia gama de reacciones.

Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, anunció el lanzamiento de un nuevo proyecto llamado Open Alignment Initiative, (Iniciativa para una Alineación Abierta), dedicada a asegurar que el desarrollo de la IA se ajusta a los valores y objetivos de la humanidad, y añadió que quería formar parte de los "evaluadores integrados" que Amodei propuso como posibles soluciones.

El juego Hugging Face fue hackeado por agentes de OpenAI a principios de este año, lo que provocó una gran controversia sobre la seguridad de la IA.

Cuando pocas semanas después, Anthropic anunció que había frenado el intento de desarrollar armas biológicas con uno de sus modelos, la polémica solo se agravó.

"Hagamos que la IA sea más segura haciéndola más transparente", escribió Delangue en X.

Elon Musk también expresó su apoyo: "Dario tiene razón".

Musk, cuya empresa SpaceXAI creó el controvertido chatbot Grok, llegó a calificar a Anthropic de "malvada", pero parece haber cambiado de opinión desde que firmó un acuerdo de US$15.000 millones para vender capacidad informática a Anthropic en mayo.

Sin embargo, algunos observadores sugirieron que la publicación de Amodei tenía menos que ver con la seguridad que con consolidar el control sobre la tecnología de IA.

"Dario argumenta a favor de detener el código abierto y concentrar un enorme poder tecnológico y económico en Anthropic", escribió Chamath Palihapitiya, inversor y copresentador del podcast tecnológico "All-In".

La idea de ralentizar o incluso paralizar el desarrollo de la IA ha sido recibida con cinismo durante mucho tiempo en ciertos sectores de Silicon Valley, y los críticos acusan a los principales desarrolladores de IA de exagerar su tecnología como estrategia de marketing.

Según se informa, tanto Anthropic como OpenAI se están preparando para ofertas públicas iniciales para salidas a bolsa que podrían batir récords.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.