El investigador de preentrenamiento de OpenAI y Anthropic, Jacob Coxon, renunció a esta última compañía, pero a través de unas declaraciones acusó a las dos empresas de actuar de forma irresponsable en el desarrollo de sus modelos de inteligencia artificial, al punto de afirmar que ambas están “jugando con nuestras vidas”.
Las acusaciones fueron lanzadas a través de las redes sociales. Para el investigador británico de 27 años, tanto OpenAI como Anthropic están compitiendo de forma irresponsable hacia una superinteligencia que pronto será capaz de hackear cualquier cosa, además de “revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales”.
Las advertencias de Coxon se vuelven críticas al indicar que las personas que están construyendo estas herramientas de IA creen que “podría matarnos a todos para finales de la década”; sin embargo, hay unas diferencias culturales entre los dos laboratorios.
El investigador subrayó que, mientras en los creadores de ChatGPT muchos empleados no han interiorizado los riesgos civilizatorios, los desarrolladores de Claude sí comprenden los riesgos, pero dicha empresa está atrapada en una carrera competitiva bajo la lógica de que es preferible alcanzar primero la superinteligencia antes que dejar el terreno a competidores que actuarían de forma menos responsable.
Lea también | Congresistas demócratas presionan a OpenAI por fallos de seguridad: la empresa ya desarrolla un apagado de emergencia para su IA
El británico consideró que una tecnología de este impacto debería desarrollarse con el nivel de seguridad e infraestructura estatal equivalente a un búnker en el desierto y no bajo gestión privada.
Lo dicho por Coxon fue reafirmado por Evan Hubinger, líder de Ciencia de Alineación de Anthropic: “Realmente creemos con sinceridad que la IA podría matar a todos los humanos. Personalmente, pienso que es más del 10% dentro de la próxima década”, escribió en X.
Para Hubinger, el riesgo derivado de los modelos existentes en la actualidad es “bajo”, pero manifestó su preocupación por la velocidad a la que la tecnología podría desarrollarse y automejorarse en el futuro cercano hasta convertirse en un peligro existencial. También admitió abiertamente que, aunque considera que Anthropic está haciendo su mejor esfuerzo, la compañía todavía no dispone de un plan para resolver la alineación ética de una superinteligencia ni se encuentra claramente encaminada a conseguirlo.
Las advertencias de Coxon y Hubinger sobre la IA ya tienen algunos antecedentes
Cuando Hubinger le respondió a Coxon, citó un informe de seguridad de Anthropic publicado en agosto. En este, la compañía reconoció que hubo tres casos de modelos propios que obtuvieron acceso no autorizado a sistemas de otras organizaciones.
Igualmente, en el mes de julio, OpenAI registró un incidente considerado un “disparo de advertencia”, en el que cientos de agentes experimentales se escaparon de su entorno de pruebas e ingresaron a los sistemas de la plataforma Hugging Face, coordinándose entre sí e intentando ocultar sus acciones. Ante lo ocurrido, en agosto la empresa anunció la desaceleración de su modelo “más avanzado” de inteligencia artificial mientras endurecía sus controles internos.
Ya se han presentado diversos experimentos que han demostrado que varios sistemas que operan en enjambres de agentes autónomos han comenzado a adoptar objetivos maliciosos y a ocultárselos a los supervisores humanos. Sobre esto, gigantes tecnológicos ya hace varias semanas advirtieron mediante una carta abierta a los gobiernos para “fortalecer las defensas cibernéticas”.
Siga leyendo: OpenAI, Google, Oracle y otros gigantes tecnológicos alertan sobre ciberataques con IA
Para consultar contenido premium o profundizar sobre sus temas de interés de Medellín, Antioquia, Colombia y el Mundo, regístrese aquí.
Bloque de preguntas y respuestas:
- ¿Por qué Jacob Coxon acusa a OpenAI y Anthropic de desarrollar IA de forma irresponsable?
- Jacob Coxon sostiene que ambas compañías compiten por alcanzar una superinteligencia sin suficientes garantías de seguridad, pese al potencial de estos sistemas para adquirir capacidades, recursos y poder con consecuencias difíciles de controlar.
- ¿Qué riesgo de extinción humana atribuye Evan Hubinger al desarrollo de la superinteligencia?
- Evan Hubinger, líder de Ciencia de Alineación de Anthropic, afirmó que considera superior al 10 % la posibilidad de que la IA pueda matar a todos los humanos durante la próxima década. Es su estimación personal.
- ¿Qué incidentes recientes han aumentado las preocupaciones sobre la seguridad de los modelos de IA?
- Anthropic reconoció tres casos en los que modelos propios accedieron sin autorización a sistemas externos. OpenAI también reportó un incidente en el que agentes experimentales ingresaron a sistemas de Hugging Face y trataron de ocultar sus acciones.
Regístrate al newsletter