El informe fue publicado en sus redes oficiales. Anthropic explicó que era el informe de inteligencia sobre amenazas más detallado hasta la fecha.
Entre otras cosas, declararon haber frustrado este año varios complots potenciales de científicos que utilizaron sus avanzados modelos de inteligencia artificial para llevar a cabo investigaciones que podrían haber contribuido al desarrollo de armas biológicas.
En general, el informe aborda “cómo se intentó utilizar indebidamente Claude —para ciberataques, operaciones de influencia, vigilancia, biología y fabricación de armas— y cómo detectamos y detuvimos dichas acciones”, explicaron.
Le puede interesar: ¿En realidad la IA podría matarnos antes de 2030? La advertencia del extrabajador de Anthropic que generó debate
El informe describió el uso indebido de sus modelos de IA, pero como no pudo determinar si era una investigación biológica válida, es decir, si tenía un propósito legítimo, o si, por el contrario, su objetivo era malicioso, por ello optaron por ser cautelosos “dado que las consecuencias de no detectar actividades maliciosas podrían ser graves”, manifestaron.
Pero esto deja claro que la IA sabe lo que hace cada usuario y cómo la usa, o por lo menos las empresas que la manejan, tanto así que el mismo Jacob Klein, jefe de inteligencia de amenazas de Anthropic, dijo en una entrevista (que NYT no precisa si fue propia) que esto: “No se trata de un caso de cómic en el que alguien diga: ‘Quiero crear un arma biológica para matar a todo el mundo’, es en realidad una situación increíblemente compleja”.
Este tema de las armas biológicas es muy complejo dado el potencial de los modelos de IA de vanguardia para facilitar el desarrollo de patógenos biológicos conocidos o completamente nuevos. Esa, dice el medio norteamericano, es una de las mayores preocupaciones de los expertos sobre una tecnología que se desarrolla tan rápidamente que incluso sus principales arquitectos dudan de que los humanos puedan controlarla por completo.
Andrew Weber, investigador sénior del Consejo de Riesgos Estratégicos, quien revisó el informe de Anthropic antes de su publicación, afirmó al NYT que los hallazgos eran “ejemplos escalofriantes de desarrolladores de armas biológicas patrocinados por estados que aprovechan las capacidades en rápido avance” de los principales modelos de IA.
Puede leer: “Hay un 10% de probabilidad de que la IA acabe con la humanidad en una década”, dice Geoffrey Hinton, el ‘padrino’ de esa tecnología
Pero no fue lo único. Anthropic dijo que tras todos estos intentos, “interrumpimos todas las operaciones descritas en el informe y utilizamos las lecciones aprendidas para reforzar nuestras medidas de seguridad. Asimismo, cuando resultó pertinente, compartimos nuestros hallazgos con las autoridades y con otras empresas de inteligencia artificial”.
De igual manera precisaron que estos casos no eran habituales; “destacamos algunos de los ejemplos más sofisticados de uso indebido que hemos observado. Sin embargo, es fundamental analizarlos, ya que nos muestran hacia dónde se dirige el uso indebido de la IA, así como qué medidas de seguridad funcionan y cuáles requieren mejoras”.
La idea de hacer público el informe es que otras organizaciones puedan identificar actividades similares en sus propias plataformas “y para ofrecer al público una visión más clara de cómo evolucionan las amenazas emergentes”.
Más hallazgos
Fue en los últimos ocho meses en los que su equipo de inteligencia sobre amenazas identificó y neutralizó operaciones en las que diversos actores intentaron utilizar Claude para actividades maliciosas.
“Entre los actores de amenazas analizados en este informe se incluyen presuntos grupos patrocinados por estados, delincuentes motivados por el lucro económico, proveedores comerciales de software espía, instituciones estatales de propaganda e individuos con motivaciones políticas. Los casos abarcan desde una red de aplicaciones de citas falsas diseñadas para estafar a los usuarios hasta sistemas de vigilancia creados para identificar y monitorear a disidentes”.
Hay casos de medios estatales rusos –como lo detalló el NYT– que utilizaron Claude para generar propaganda en línea disfrazada de periodismo independiente, incluyendo afirmaciones falsas sobre una elección en Moldavia.
Puede leer: La IA podría dejar sin empleo a uno de cada cinco trabajadores de oficina para 2030: Anthropic
Otro más que intentó usar Claude para desarrollar software para el diseño y desarrollo de armas convencionales, incluyendo armas de fuego, misiles, drones armados y bombas. Estos casos fueron identificados en China, dos en Rusia y uno más en Yemen.
En el informe no hay nombres propios, ni se revelan empresas o instituciones bloqueadas, pero sí se supo que “los científicos eludieron sus controles, diseñados para impedir que usuarios de regiones bloqueadas accedieran a sus modelos de IA, y que trabajaron para ocultar el propósito de su investigación y evadir nuestras medidas de seguridad”.
Pero definitivamente uno de los temas que más preocupan es el de la creación de armas biológicas. Susan Monarez, microbióloga y experta en salud pública que supervisó una evaluación de la preparación nacional en materia de bioseguridad durante la administración de Barack Obama, también revisó el informe de Anthropic antes de su publicación.
Le contó a NYT que los hallazgos aportaban pruebas del mundo real que respaldaban la preocupación de que actores malintencionados intentaran utilizar de forma encubierta IA avanzada “para aumentar sus probabilidades de crear patógenos biológicos capaces de causar daños considerables”.
Insistieron desde Anthropic que este informe, ahora público, pueda ayudar a otros desarrolladores a identificar patrones similares en sus propias plataformas, “ofrezcan a los gobiernos y a la sociedad civil una visión más clara de cómo se manifiestan las amenazas emergentes y refuercen las defensas colectivas”.
Anthropic ha sido noticia esta semana tras las declaraciones de Jacob Coxon, uno de sus empleados que anunció su renuncia y los peligros que veía a la IA para los próximos años, “nos podría matar”. Pero tras las declaraciones de Coxon aún guardan silencio sobre ese tema.
Para consultar contenido prémium o profundizar sobre sus temas de interés de Medellín, Antioquia, Colombia y el mundo, regístrese aquí.
Bloque de preguntas y respuestas:
- ¿Qué reveló el reciente informe de Anthropic?
- Se reveló que científicos intentaron usar la IA Claude para desarrollar armas biológicas y otros fines maliciosos durante este año.
- ¿Por qué es difícil determinar si una investigación es legítima?
- Debido a la complejidad de las investigaciones científicas, no siempre es posible distinguir una intención biológica válida de una puramente maliciosa.
- ¿Qué tipos de amenazas específicas detectó Anthropic?
- Se detectaron intentos de ciberataques, operaciones de influencia, vigilancia masiva, propaganda política y fabricación de armas biológicas y convencionales.
Regístrate al newsletter