CEO de Anthropic pide frenar carrera de la IA: Advierte que en meses podría alcanzar capacidades peligrosas

Associated Press

Nueva York, Estados Unidos.- Dario Amodei, director ejecutivo y cofundador de Anthropic, lanzó este sábado una de sus advertencias más contundentes sobre el acelerado desarrollo de la inteligencia artificial, al considerar que la industria debería reducir temporalmente el ritmo para permitir que las medidas de seguridad alcancen a las nuevas capacidades de los modelos.

Amodei advirtió que, de continuar el avance actual, en un plazo de apenas seis a 12 meses podrían existir sistemas con capacidades suficientemente poderosas para generar amenazas cibernéticas a una escala inédita, incluyendo escenarios en los que la IA pueda coordinar ataques contra grandes cantidades de sistemas conectados a internet. (AP News)

Propone desacelerar el desarrollo de la inteligencia artificial

El ejecutivo sostuvo que ganar incluso uno o dos años adicionales antes de que los modelos alcancen niveles críticos de capacidad podría proporcionar tiempo para mejorar los mecanismos de alineación, evaluación y seguridad.

Su planteamiento no consiste simplemente en detener unilateralmente a una empresa. Amodei reconoce que cualquier desaceleración efectiva requeriría coordinación entre las principales compañías de inteligencia artificial y gobiernos de distintos países. (AP News)

Uno de los problemas es precisamente la competencia: si una compañía estadounidense decide reducir voluntariamente la velocidad de desarrollo mientras sus rivales continúan avanzando, podría quedar rezagada.

La dificultad aumenta a escala internacional, pues Amodei considera necesario algún grado de coordinación entre gobiernos democráticos y países autoritarios para evitar que una pausa de empresas estadounidenses simplemente permita que competidores extranjeros aceleren sus propios modelos. (AP News)

Evaluadores externos dentro de las compañías

Entre sus propuestas está permitir que equipos independientes de evaluación tengan acceso continuo a las compañías líderes de IA, prácticamente como si fueran empleados.

Anthropic planea aplicar este mecanismo dentro de su propia organización, proporcionando a evaluadores externos elementos como espacios de trabajo, identificaciones de acceso y computadoras corporativas para supervisar de manera más cercana las prácticas de seguridad. (AP News)

Amodei también planteó que el gobierno estadounidense analice mecanismos legales que permitan a las empresas competidoras coordinar determinadas normas de seguridad sin exponerse a infringir las leyes antimonopolio.

Advertencia llega después de detectar usos peligrosos de la IA

El llamado ocurre apenas días después de que Anthropic informara haber bloqueado intentos de utilizar sus modelos para actividades como ciberataques, vigilancia, operaciones de influencia y determinadas investigaciones biológicas potencialmente peligrosas. (AP News)

En uno de los casos documentados, los sistemas de la compañía detectaron una solicitud relacionada con una propuesta científica sobre investigación de ganancia de función del virus chikungunya, orientada a características como transmisibilidad y evasión inmunitaria.

Anthropic señaló que este tipo de investigaciones puede tener aplicaciones legítimas, como desarrollar tratamientos y vacunas, pero también podría utilizarse para aumentar la peligrosidad de un patógeno. La compañía asegura haber reforzado las restricciones de sus modelos más recientes ante ese tipo de consultas. (AP News)

Investigadores de la propia industria también han lanzado alertas

Las declaraciones de Amodei llegan además en medio de cuestionamientos procedentes de especialistas que han trabajado directamente en el desarrollo de estos sistemas.

Esta semana, Jacob Coxon, investigador que trabajó durante tres años entre Anthropic y OpenAI, anunció su salida de Anthropic y acusó a las compañías líderes de mantener una competencia por desarrollar sistemas cada vez más avanzados sin conceder suficiente prioridad a la seguridad. (AP News)

Otro exempleado del área de seguridad de Anthropic, Joe Benton, también manifestó públicamente preocupación por una carrera empresarial hacia sistemas de inteligencia artificial cada vez más poderosos. (AP News)

Una carrera tecnológica con riesgos cada vez mayores

Anthropic ha construido parte de su identidad corporativa alrededor de la seguridad de la inteligencia artificial, aunque al mismo tiempo participa en una intensa competencia tecnológica con otras empresas del sector.

Amodei reconoce que conseguir un acuerdo para desacelerar el desarrollo será difícil, particularmente por la competencia empresarial y geopolítica.

Su propuesta coloca nuevamente en el centro del debate una cuestión que hasta hace pocos años pertenecía principalmente al terreno teórico: qué ocurrirá si las capacidades de los sistemas de inteligencia artificial avanzan más rápido que los mecanismos humanos diseñados para controlarlos.

Artículo original de Associated Press

About Author

infonogales.com

See author's posts