Arizona Tribune - Elles "jouent avec nos vies": après OpenAI, un chercheur en IA quitte Anthropic

Jacob Coxon, un Britannique de 27 ans, travaillait depuis trois ans sur le pré-entraînement, l'étape où les modèles absorbent d'immenses quantités de données, d'abord chez OpenAI puis, cette année, chez son grand rival Anthropic.

"Aucune des deux entreprises n'agit de manière responsable. Elles foncent tout droit vers une superintelligence capable de s'améliorer elle-même et jouent avec nos vies", a-t-il écrit mardi sur X.

"Les gens qui construisent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie. Ce n'est pas un coup marketing", a-t-il ajouté.

Un responsable de la sûreté d'Anthropic, Evan Hubinger, lui a donné raison sur X : "Nous croyons vraiment sincèrement que l'IA pourrait tuer tous les humains", a-t-il écrit, estimant à titre personnel ce risque à "plus de 10%" dans la décennie.

Il a ajouté qu'Anthropic faisait "de son mieux" mais n'avait "pas encore de plan" pour s'assurer qu'une IA surpassant des capacités humaines obéisse encore à ses concepteurs, tout en jugeant "faible" le risque posé par les modèles actuels.

La démission de Jacob Coxon intervient alors qu'Anthropic prépare une entrée en Bourse géante, après un été marqué par des piratages menés, sans autorisation, par des outils d'IA en test de plusieurs laboratoires.

Sollicitées par l'AFP, les deux entreprises n'avaient pas réagi immédiatement.

Les champions de l'IA disent voir approcher le stade de "l'auto-amélioration récursive", au-delà duquel un modèle concevrait seul son successeur, hors de tout contrôle humain

Selon M. Coxon, ses collègues emploient les termes "crunchtime" (moment décisif) et "endgame" (fin de partie) pour décrire cette trajectoire.

Il juge sincères les efforts d'Anthropic, mais estime qu'aucune entreprise ne peut développer de manière responsable une IA surpassant les humains sans l'intervention des Etats ou un ralentissement coordonné.

"Chez Anthropic, les enjeux sont bien compris, mais ils sont enfermés dans une course pour y parvenir les premiers: ils pensent que personne d'autre n'agira de façon responsable, donc qu'ils doivent le faire eux-mêmes, malgré le risque", a-t-il écrit.

En février, Anthropic a retiré de sa charte de sûreté l'engagement de suspendre le développement de ses modèles si elle ne parvenait pas à en maîtriser les risques. Au motif qu'une pause unilatérale laisserait les acteurs les moins prudents dominer la compétition, sans contre-pouvoirs.

Fin juillet, plus d'un millier d'employés du secteur, dont le patron d'Anthropic Dario Amodei, ont demandé à Washington de préparer un mécanisme de freinage. OpenAI a suspendu deux semaines en août une partie de ses entraînements et Anthropic a appelé l'industrie à adopter "dès que possible" un mécanisme "vérifiable" de ralentissement coordonné.

Dimanche, le chef scientifique d'OpenAI, Jakub Pachocki, a écrit que "le moment actuel exige une extrême prudence" et que la coordination internationale devait devenir "une priorité absolue" des gouvernements.

Aucune loi fédérale n'encadre ces modèles aux Etats-Unis, où l'administration Trump privilégie une approche légère. Le sénateur Bernie Sanders et l'élu démocrate Greg Casar ont déposé début septembre une proposition de loi visant à suspendre le développement jusqu'à la création d'un régulateur.

B.Torres--AT