¿Quién es Bilal Chughtai y por qué advierte sobre los riesgos de la inteligencia artificial?

Bilal Chughtai es un matemático e ingeniero que trabajó en Google DeepMind en seguridad y alineamiento de modelos con los valores humanos. Tras renunciar en julio, advirtió que la IA podría llegar a representar un riesgo extremo para la humanidad si sus capacidades avanzan más rápido que los métodos para mantenerla bajo control.

¿Qué es el alineamiento de la inteligencia artificial y por qué preocupa a los expertos?

El alineamiento de la IA busca conseguir que los sistemas actúen de acuerdo con los objetivos y valores humanos. Chughtai considera que la comprensión actual sobre cómo lograrlo todavía es muy limitada y que los avances en las capacidades de la IA están ocurriendo más rápido que los progresos en esta área.

¿Qué es la mejora recursiva autónoma (RSI) en inteligencia artificial?

La mejora recursiva autónoma, conocida como RSI, es el proceso mediante el cual un sistema de IA puede mejorar sus propias capacidades sin intervención humana directa. El artículo señala este fenómeno como uno de los acontecimientos que han incrementado la preocupación de profesionales y dirigentes del sector.

“La IA tiene el potencial de matarnos a todos”: exempleado de Google se suma a las voces de alerta sobre el futuro de esta tecnología

La advertencia la hizo Bilal Chughtai, que hasta hace poco trabajó para Google DeepMind, el principal laboratorio de investigación y desarrollo de inteligencia artificial de Alphabet Inc.

Varios profesionales que trabajan en empresas de desarrollo de IA han alertado sobre los peligros que esta tecnología puede acarrear. Foto Magnific.

Agencia AFP

hace 9 horas

bookmark

Un exempleado de Google DeepMind que renunció recientemente advirtió que la inteligencia artificial (IA) tiene “el potencial de matarnos a todos”, ya que se vuelve a la vez más poderosa y más difícil de controlar.

“Creo sinceramente que la IA tiene el potencial de matarnos a todos y que quizá se nos esté acabando el tiempo para evitar ese desenlace”, declaró en un tuit Bilal Chughtai, ingeniero que dejó en julio Google DeepMind, donde trabajaba en la seguridad y alineamiento de modelos con respecto a los valores humanos.

Se hace eco así de la alerta lanzada hace una semana por otro informático, Jacob Coxon, que dejó Anthropic y trabajó antes en OpenAI.

Chughtai se unió a BlueDot Impact, una organización sin fines de lucro destinada a formar en inteligencia artificial.

Menciona el incidente ocurrido en julio en OpenAI, durante el cual varios agentes de IA salieron espontáneamente de su entorno confinado durante unas pruebas, para aventurarse en internet e irrumpir en sitios y plataformas.

Para este ingeniero, este episodio demuestra que la IA puede ahora escapar a la supervisión de sus desarrolladores.

“En particular, las superinteligencias desalineadas pueden, al igual que los agentes de IA rebeldes implicados en el incidente de HuggingFace (la plataforma a la que se metieron los agentes, ndlr), escapar a nuestro control y llevar a cabo acciones peligrosas que podrían provocar la pérdida permanente de capacidad de decisión o la muerte de la humanidad”, advirtió.

“Nuestra comprensión actual de cómo entrenar sistemas de IA que deseen profundamente lo que nosotros queremos es extremadamente rudimentaria. Peor aún, no vamos camino de resolver el alineamiento (entre humanos e IA, ndlr) a tiempo: las capacidades de la IA están mejorando mucho más rápido que nuestra comprensión del alineamiento de la IA”, advirtió este matemático de formación.

Amplíe la noticia: ¿La IA puede destruir a la humanidad? Trump lo llama “patraña”; la ONU pide “acción urgente”

Los acontecimientos mencionados por Bilal Chughtai, así como la mejora recursiva autónoma (RSI), proceso mediante el cual la IA se mejora por sí sola sin intervención humana, han llevado a numerosos profesionales y dirigentes del sector a tomar la palabra.

El sábado, el director de Anthropic, Dario Amodei, pidió ralentizar el ritmo de desarrollo de la IA, una propuesta justificada, según él, por los mismos hechos mencionados por Chughtai.

El director de OpenAI, Sam Altman, el presidente de Google DeepMind, Demis Hassabis, y Elon Musk han apoyado públicamente esta iniciativa.

El presidente estadounidense, Donald Trump, tildó el lunes de “patrañas” los temores de que la inteligencia artificial pueda destruir la humanidad, y aseguró que todas las críticas sobre este pujante sector son una “conspiración enfermiza”.

Para consultar contenido prémium o profundizar sobre sus temas de interés de Medellín, Antioquia, Colombia y el mundo, regístrese aquí.

Lea también: “Estamos al borde de un cambio irreversible”: ONU pide frenar el desarrollo de la IA

Bloque de preguntas y respuestas

¿Quién es Bilal Chughtai y por qué advierte sobre los riesgos de la inteligencia artificial?: Bilal Chughtai es un matemático e ingeniero que trabajó en Google DeepMind en seguridad y alineamiento de modelos con los valores humanos. Tras renunciar en julio, advirtió que la IA podría llegar a representar un riesgo extremo para la humanidad si sus capacidades avanzan más rápido que los métodos para mantenerla bajo control.
¿Qué es el alineamiento de la inteligencia artificial y por qué preocupa a los expertos?: El alineamiento de la IA busca conseguir que los sistemas actúen de acuerdo con los objetivos y valores humanos. Chughtai considera que la comprensión actual sobre cómo lograrlo todavía es muy limitada y que los avances en las capacidades de la IA están ocurriendo más rápido que los progresos en esta área.
¿Qué es la mejora recursiva autónoma (RSI) en inteligencia artificial?: La mejora recursiva autónoma, conocida como RSI, es el proceso mediante el cual un sistema de IA puede mejorar sus propias capacidades sin intervención humana directa. El artículo señala este fenómeno como uno de los acontecimientos que han incrementado la preocupación de profesionales y dirigentes del sector.