El director ejecutivo de Anthropic, Dario Amodei, pidió reducir el ritmo de desarrollo de los modelos de inteligencia artificial y establecer mecanismos de supervisión independiente para evaluar sus riesgos durante el proceso de creación.
En un ensayo publicado este sábado, Amodei sostuvo que el avance de la inteligencia artificial continuará, pero advirtió que los riesgos asociados a modelos cada vez más capaces requieren que empresas y gobiernos tengan tiempo suficiente para establecer medidas de seguridad.
Su propuesta contempla tres medidas principales: supervisión independiente de los modelos durante su desarrollo, regulación para toda la industria y coordinación internacional.
La iniciativa recibió respaldo de directivos de empresas rivales. Sam Altman, director ejecutivo de OpenAI, afirmó que coincide con Amodei en la necesidad de establecer un ritmo controlado para el desarrollo de la IA y consideró una buena idea contar con evaluadores independientes.
Altman también señaló en una entrevista con Fortune que todavía no existen estándares suficientes para impulsar de manera acelerada las capacidades de estos sistemas y reconoció que una inteligencia artificial que supere el control humano es una posibilidad.
El empresario Elon Musk también respaldó la postura de Amodei al señalar que el responsable de Anthropic tiene razón.
Las advertencias se producen en un contexto de creciente preocupación por las capacidades de los modelos de IA en áreas como ciberseguridad. Empresas como Anthropic y OpenAI han reconocido riesgos relacionados con el comportamiento autónomo de sus sistemas y han restringido o ralentizado determinados desarrollos.
Amodei planteó que una desaceleración no significa detener la investigación ni el entrenamiento de modelos, sino dar más tiempo a las compañías para desarrollar mecanismos de alineación y seguridad, además de someterlos a evaluaciones externas.
El ejecutivo estimó que obtener uno o dos años adicionales antes de que los modelos alcancen niveles críticos de capacidad podría permitir reducir de manera considerable los riesgos asociados con sistemas más avanzados.
Al mismo tiempo, advirtió que cualquier medida tendría que coordinarse a escala internacional para evitar que una desaceleración de las empresas estadounidenses permita a China tomar ventaja en el desarrollo de esta tecnología.
Amodei pidió además al gobierno estadounidense reforzar los controles sobre la exportación de chips especializados en inteligencia artificial hacia China y limitar la transferencia de determinadas tecnologías a gobiernos considerados autoritarios.
La propuesta también generó críticas. Algunos observadores consideran que una regulación más estricta podría favorecer a las grandes empresas de IA al elevar las barreras de entrada para competidores más pequeños y limitar el desarrollo de modelos de código abierto.
Clement Delangue, director ejecutivo de Hugging Face, anunció por su parte una iniciativa denominada Open Alignment Initiative, enfocada en desarrollar mecanismos abiertos para evaluar la seguridad y alineación de los sistemas de inteligencia artificial.
El debate ocurre mientras Anthropic y OpenAI compiten por el desarrollo de modelos cada vez más avanzados y, según reportes, ambas compañías analizan posibles ofertas públicas iniciales que podrían situarse entre las mayores de la industria tecnológica.
