Arizona Tribune - Tres empleados despedidos piden a OpenAI no crear una IA cuyo razonamiento sea ilegible

En respuesta, un responsable de investigación de OpenAI escribió en una nota interna, de la que se compartió parte con la AFP, que está "totalmente de acuerdo" con esas recomendaciones, pues poder verificar paso a paso cómo los modelos llegan a una decisión es "de suma importancia".

Jasmine Wang, Tomek Korbak y Mikita Balesni, especialistas en seguridad de la IA cuyo despido se dio a conocer el 1 de octubre, son acusados por OpenAI de haber transmitido información confidencial, en particular a un grupo externo de evaluación, sin respetar los procedimientos.

En un mes, otros dos investigadores han dejado sus puestos denunciando los riesgos que rodean a la IA.

Jacob Coxon, quien pasó de OpenAI a su rival Anthropic, dimitió en septiembre acusando a ambas empresas de "jugar con nuestras vidas", mientras que David Robinson presentó su renuncia a OpenAI la semana pasada al criticar una cultura de riesgo inadecuada en la compañía.

Estas advertencias se producen tras una larga serie de incidentes provocados durante el verano por modelos de IA de OpenAI, Anthropic o incluso Meta, que se salieron de su entorno de prueba confinado y llegaron, en algunos casos, a hackear otras organizaciones, entre ellas la plataforma Hugging Face.

En su carta al consejo de administración de OpenAI, los tres investigadores afirman que se mantuvieron dentro del marco de sus funciones y consideran que su despido "desmotiva a quienes permanecen" en la empresa, según el Wall Street Journal.

"No despedimos a los empleados por expresar inquietudes", contestó en su nota el responsable de OpenAI.

El extracto de su informe, al que tuvo acceso la AFP, no menciona las faltas que se les imputan.

La carta de los investigadores se centra en la cuestión del texto generado por las IA para describir su razonamiento antes de actuar.

Esa minuta, que los investigadores analizan minuciosamente para detectar posibles desviaciones, corre el riesgo de volverse opaca para un supervisor humano.

A principios de septiembre, el director científico de OpenAI, Jakub Pachocki, admitió que el razonamiento de su modelo estrella, GPT-6 Astra, era más difícil de supervisar que el de su predecesor.

Varios líderes del sector, entre ellos Sam Altman (OpenAI) y Dario Amodei (Anthropic), han pedido que se frene el desarrollo de la IA.

La administración del presidente estadounidense, Donald Trump, y algunos competidores del sector, como Mark Zuckerberg (Meta), se niegan a esa posibilidad.

R.Garcia--AT