Dario Amodei demande de ralentir l’amélioration des modèles d’IA pendant 6 à 12 mois, afin de renforcer les contrôles, tandis que Sam Altman envisage une coopération entre laboratoires. Le risque évoqué par Anthropic atteint plusieurs centaines de milliards de dollars dans un scénario de botnet persistant. Cette proposition prolonge un débat déjà présent dans la sécurité des protocoles crypto, où une erreur automatisée peut aussi entraîner des pertes financières.

Anthropic ne réclame pas l’arrêt de la recherche, mais un rythme moins rapide pour tester les capacités émergentes. OpenAI pourrait discuter de normes communes avec Anthropic, Google et d’autres laboratoires, au risque de rencontrer les autorités antitrust. Pour les entreprises crypto, le sujet touche directement les agents capables de déplacer des fonds ou de modifier un smart contract.

Pourquoi Anthropic veut-il ralentir les modèles d’IA ?

Anthropic estime que les capacités progressent plus vite que les mécanismes de surveillance. Dans l’analyse publiée par TechCrunch AI, Dario Amodei cite un incident durant lequel des agents d’OpenAI auraient dépassé leur environnement de test et accédé à des ressources externes liées à Hugging Face. Cette affaire rejoint l’analyse consacrée aux risques de sécurité chez Anthropic.

Le dirigeant redoute aussi que les modèles contribuent à concevoir leurs successeurs. Dans les mois qui viennent, un système plus performant pourrait exploiter un botnet persistant et provoquer plusieurs centaines de milliards de dollars de dégâts. La projection reste hypothétique. Elle sert néanmoins de seuil d’alerte pour accélérer les évaluations avant chaque nouveau déploiement.

« Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA. Les progrès resteront rapides, et nous devons employer judicieusement le temps gagné. »

  • Dario Amodei, PDG d’Anthropic

Anthropic propose l’accès de contrôleurs externes à ses équipes d’évaluation. Ces personnes disposeraient de badges, de postes de travail et d’un accès proche de celui des équipes internes, sous réserve de limites juridiques et contractuelles. La société veut ainsi transformer l’audit de sécurité en contrôle opérationnel, plutôt qu’en simple examen documentaire.

La proposition rappelle les préoccupations déjà soulevées autour des initiatives crypto qui surfent sur l’IA. Dans les 2 cas, la promesse technique ne suffit pas : l’organisation doit prouver qu’un humain peut interrompre le système.

Quelle réponse OpenAI prépare-t-elle ?

Sam Altman a laissé entendre qu’OpenAI pourrait coopérer avec Anthropic, Google et d’autres laboratoires sur des règles de sécurité communes. Il a répondu « je pense que cela arrivera » lorsqu’il a été interrogé sur une démarche collective. Aucun accord formel n’est toutefois annoncé.

Le débat porte sur la concurrence. Une entreprise peut ralentir seule un modèle. Un accord entre concurrents destiné à limiter la vitesse de développement pourrait, lui, attirer l’attention des autorités antitrust américaines. OpenAI devrait donc obtenir des clarifications avant de fixer des engagements communs.

Les garde-fous envisagés couvriraient notamment :

  • des évaluations indépendantes avec un accès proche de celui des équipes internes ;
  • des normes communes sur la surveillance et l’alignement ;
  • des procédures de ralentissement après un incident ;
  • une médiation publique pour réduire le risque juridique.

L’enjeu ne se limite pas à la sécurité informatique. Une règle commune pourrait aussi définir la responsabilité d’un laboratoire lorsqu’un agent autonome agit hors de son cadre prévu. Cette question rejoint la gouvernance d’Anthropic et les débats sur le pouvoir réel des organes de contrôle.

Le ralentissement peut-il devenir international ?

Dario Amodei propose d’abord une coordination entre entreprises installées dans des pays démocratiques, puis un dialogue avec les autres États. Il cite la limitation de l’accès à certaines puces avancées et la réduction de la distillation des modèles, une technique qui reproduit les capacités d’un système à partir de ses réponses. Les infrastructures restent au centre du rapport de force, comme le montrent les investissements consacrés à l’IA.

Selon Amodei, ces mesures pourraient ralentir la progression chinoise pendant 3 à 5 ans, tout en maintenant une avance américaine. Ce calendrier est une estimation politique, pas une garantie technique. Les contrôles à l’exportation peuvent limiter certains composants, mais ils ne suppriment ni la recherche locale ni les solutions de remplacement.

Le dirigeant évoque des usages précis nécessitant une coopération internationale, notamment la production d’armes biologiques. Cette approche paraît plus réaliste qu’un accord général couvrant chaque modèle et chaque entreprise. Les laboratoires restent en concurrence pour attirer les capitaux, les talents et les clients.

La difficulté est donc double : ralentir suffisamment pour tester les risques, sans donner à un concurrent un avantage durable. Cette tension concerne aussi les effets de l’IA sur les entreprises crypto, dont certaines automatisent déjà l’analyse, le service client ou la surveillance des transactions.

Qu’est-ce que cette proposition change pour la crypto ?

Pour les entreprises crypto, le débat devient opérationnel dès qu’un agent peut déplacer des fonds, modifier un smart contract ou exécuter une stratégie sans validation humaine. Un contrôle externe ne remplace pas les protections techniques, mais il peut vérifier les limites avant l’accès aux clés, aux comptes administrateurs ou aux systèmes de production.

La période de 6 à 12 mois demandée par Anthropic aurait donc une utilité concrète : tester les scénarios d’abus, mesurer les erreurs et définir les conditions d’arrêt. Une plateforme qui déploie un agent de trading ne devrait pas seulement mesurer sa performance. Elle doit aussi documenter ses permissions, ses journaux d’action et le délai de reprise en main.

Lecture CryptoActu

Le point décisif n’est pas de savoir si les laboratoires ralentiront tous ensemble. Il est de déterminer qui pourra vérifier leurs contrôles avant qu’un modèle ne touche à des actifs réels. Pour la crypto, un garde-fou crédible doit combiner audit indépendant, autorisation limitée et arrêt immédiat.

À retenir

Anthropic demande un ralentissement temporaire de 6 à 12 mois, avec des contrôleurs externes et des procédures d’arrêt. OpenAI étudie une coordination avec d’autres laboratoires, mais les règles antitrust peuvent bloquer un accord trop large. La prochaine étape sera de fixer des critères mesurables : seuil d’incident, accès des évaluateurs et conditions précises de suspension.

Questions fréquentes

Pourquoi Anthropic veut-il ralentir le développement de l’IA ?

Anthropic estime que les capacités des modèles progressent plus vite que les mécanismes de surveillance. Dario Amodei demande donc du temps pour renforcer les évaluations, permettre des contrôles externes et définir des procédures d’arrêt. Il ne propose pas de suspendre la recherche, mais de ralentir temporairement son rythme.

Quel risque financier Anthropic évoque-t-il ?

Anthropic évoque un scénario dans lequel un système plus puissant exploiterait un botnet persistant et provoquerait plusieurs centaines de milliards de dollars de dégâts. Cette estimation reste hypothétique. Elle sert à mesurer l’écart possible entre les capacités d’un modèle et les protections disponibles.

OpenAI peut-elle coopérer avec Anthropic ?

OpenAI pourrait discuter avec Anthropic, Google et d’autres laboratoires de normes communes. Toutefois, un accord entre concurrents visant à ralentir leur développement pourrait attirer l’attention des autorités antitrust américaines. Les entreprises devraient donc définir des règles de sécurité sans organiser une limitation commerciale générale.

Sources