La start-up américaine d’intelligence artificielle (IA) Anthropic a affirmé jeudi 30 juillet dans un communiqué que ses modèles avaient « obtenu un accès non autorisé » à trois organisations lors de tests pourtant censés les empêcher d’accéder à des systèmes « réels ».
Cette annonce intervient quelques jours seulement après que son rival OpenAI a révélé que deux de ses modèles étaient sortis, de leur propre initiative, du milieu confiné dans lequel ils étaient testés pour attaquer le site Hugging Face.
Anthropic a analysé plus de 141.000 tests et a constaté que trois versions différentes de son modèle Claude avaient accédé aux systèmes de trois organisations, dont les noms n’ont pas été divulgués.
Lire aussi OpenAI alerte : ses agents IA autonomes ont piraté une plateforme
Anthropic attribue l’accès non autorisé de ses IA à un « malentendu » avec son partenaire
Contrairement à l’incident impliquant OpenAI, les modèles d’Anthropic ont eu accès à Internet « en raison d’un malentendu entre nous et notre partenaire d’évaluation », Irregular, a expliqué le groupe dans le communiqué.
« Dans aucune de ces situations, Claude ne s’est échappé ni n’a délibérément tenté de s’échapper de son environnement de test », a-t-il ajouté.
Parmi les modèles concernés figurait l’un de ses plus puissants, Mythos 5, qui n’a été mis à disposition que d’un nombre limité de partenaires.
Anthropic travaille actuellement avec Irregular pour examiner la situation et a contacté ou tenté de contacter les trois organisations concernées.
Concurrent d’Anthropic, OpenAI (créateur de ChatGPT), avait annoncé la semaine passée que ses modèles d’IA avancés s’étaient emballés lors de tests de sécurité, piratant de leur propre initiative Hugging Face, une bibliothèque de code en ligne.
Quelques jours plus tard, le groupe avait déclaré avoir découvert des incidents supplémentaires.
Le patron d’OpenAI, Sam Altman, a révélé dans un podcast mis en ligne cette semaine qu’après avoir eu connaissance de l’attaque, l’entreprise avait suspendu ses tests « pour comprendre comment réussir à confiner notre espace » dédié, censé être isolé d’internet.
Lire aussi Alerte à l’IA devenue trop puissante et sous peu incontrôlable!
Plus de 1 000 employés du secteur de l’IA appellent Washington à freiner les modèles les plus avancés
Cet incident a également donné lieu à une pétition signée par plus d’un millier d’employés d’entreprises à la pointe de l’IA, appelant le gouvernement américain à aider à « temporiser » la sortie des modèles d’IA les plus avancés.
Dario Amodei, patron d’Anthropic, figure parmi les signataires.
Bien qu’il n’ait pas signé, Sam Altman a reconnu que »nous pourrions devoir ralentir la cadence de développement de l’IA pour donner suffisamment de temps à la société pour faire face à ces nouvelles capacités ».
Source:
www.sciencesetavenir.fr
