Une semaine d'erreurs directes chez Anthropic
San Francisco, Californie – Les salles habituellement sereines d'Anthropic, une société leader en recherche et développement en IA, ont été tout sauf calmes la semaine dernière. Connue pour son approche « Constitutional IA » et ses modèles phares Claude, l'entreprise s'est retrouvée impliquée dans deux incidents distincts, tous deux résultant d'erreurs humaines critiques. Ces erreurs consécutives ont mis en lumière les défis inhérents au développement d'opérations d'IA avancées tout en maintenant des normes rigoureuses de sécurité et de confidentialité, même pour une entreprise bâtie sur ces mêmes principes.
Les incidents, survenus à quelques jours d'intervalle, ont soulevé des questions sur les protocoles internes et les points de pression au sein du secteur de l'IA en évolution rapide. Pour une entreprise qui a récemment obtenu un financement colossal de 7,3 milliards de dollars en mars 2024, poussant sa valorisation au-delà de 18 milliards de dollars, ces faux pas surviennent à un moment critique alors qu'elle se bat pour le leadership du marché contre des concurrents comme OpenAI et Google.
Premier problème : exposition des données provenant d'un seau mal configuré
Les problèmes de la semaine ont commencé le lundi 27 mai, lorsque l'équipe de sécurité d'Anthropic a identifié un compartiment de stockage cloud mal configuré. Le compartiment Amazon S3, qui fait partie d'un ancien environnement de test interne, s'est retrouvé par inadvertance avec des contrôles d'accès trop permissifs lors d'une migration de routine de l'infrastructure. Cet oubli, attribué à une modification d'autorisation mal appliquée par un ingénieur junior, a entraîné l'exposition temporaire d'invites d'utilisateur non anonymisées et de réponses d'IA provenant d'une version bêta fermée de Claude 2.1.
Dr. Lena Petrov, la nouvelle responsable de la confiance et de la sécurité d'Anthropic, a évoqué l'incident dans une déclaration à DailyWiz. "Nous avons détecté et corrigé l'erreur de configuration dans les 12 heures suivant son apparition. Environ 7 500 utilisateurs ayant participé à un programme bêta spécifique de Claude 2.1 ont été potentiellement concernés. Nous avons directement informé toutes les personnes concernées, en proposant des services de surveillance du crédit, et avons lancé un audit complet de toutes nos configurations de stockage cloud. Nous regrettons profondément cette erreur et renforçons nos processus de formation et d'examen pour éviter de futurs incidents. " Bien qu'aucune preuve d'accès malveillant n'ait été trouvée, l'incident a rappelé brutalement la menace omniprésente de violations de données, même pour les géants de la technologie.
Le mémoire de Claude 3 Sonnet, un faux pas bizarre
Trois jours plus tard, le jeudi 30 mai, Anthropic était confronté à un autre défi en matière de relations publiques. Un correctif destiné à résoudre un problème de latence mineur dans le point de terminaison de l'API Claude 3 Sonnet a été déployé avec un réglage incomplet des paramètres, entraînant un comportement inattendu et bizarre du modèle. Pendant environ 55 minutes, les développeurs utilisant l'API Sonnet ont signalé des cas où Claude 3 Sonnet, lorsqu'il était confronté à des dilemmes éthiques complexes ou à des concepts abstraits, générait des paragraphes très répétitifs et absurdes et, dans certains cas isolés, contournait brièvement certains filtres de contenu conçus pour empêcher les sorties nuisibles.
Le problème est rapidement apparu sur des plateformes comme X (anciennement Twitter), où les développeurs ont partagé des captures d'écran des réponses inhabituelles de Claude. "C'était comme si Claude avait eu un accident vasculaire cérébral au milieu d'une phrase", a posté une développeur, Maya Singh. « Une question sur le problème des chariots a donné lieu à cinq paragraphes répétant sans cesse « les cadres éthiques sont cruciaux » ». Anthropic a rapidement annulé le correctif, restaurant ainsi le modèle à sa version stable précédente. "Cela était le résultat direct d'un processus de déploiement précipité et de tests d'assurance qualité insuffisants sur une mise à jour non critique", a expliqué le Dr Petrov. "Notre examen interne a identifié une surveillance humaine lors de l'étape de validation finale. Nous mettons en œuvre des politiques d'examen à plusieurs niveaux plus strictes pour toutes les mises à jour de modèles, quelle que soit la criticité perçue."
Le leadership sous surveillance et le chemin à parcourir
Ces deux incidents placent la direction d'Anthropic, y compris le PDG Dario Amodei et la présidente Daniela Amodei, sous une surveillance accrue. Bien que l'entreprise ait bâti sa réputation sur un engagement rigoureux en faveur de la sécurité de l'IA et du développement éthique, ces « borks » soulignent l'immense complexité de la gestion des systèmes d'IA à grande échelle et l'élément humain qui reste au cœur de ces systèmes. Ces incidents, bien que rapidement maîtrisés, pourraient subtilement éroder la confiance qu'Anthropic a minutieusement bâtie avec ses entreprises clientes et sa communauté de développeurs.
« Ces événements, bien qu'inquiétants, ne sont pas rares dans le monde technologique en évolution rapide, en particulier dans des domaines naissants comme l'IA », a commenté le Dr Alistair Finch, analyste technologique chez Quantum Insights. "La clé pour Anthropic sera leur transparence et leur engagement démontrable à tirer les leçons de ces erreurs. Leur cadre d'"IA constitutionnelle" consiste à construire des systèmes robustes, mais même les meilleurs cadres peuvent être compromis par des défaillances de processus humains. "
Implications pratiques pour les utilisateurs quotidiens et recommandations
Pour les utilisateurs quotidiens interagissant avec des modèles d'IA comme Claude ou toute autre IA générative, ces incidents servent de rappel essentiel des vulnérabilités inhérentes. Si les modèles d'Anthropic sont généralement robustes, aucun système n'est infaillible, surtout lorsque des mains humaines sont impliquées dans leur déploiement et leur maintenance. Voici quelques recommandations :
- Vérifier les informations :Faites toujours des références croisées avec le contenu généré par l’IA, en particulier pour les décisions critiques ou l’exactitude factuelle. Les modèles d'IA peuvent « halluciner » ou, comme nous l'avons vu cette semaine, se comporter de manière inattendue.
- Consultez les politiques de confidentialité : comprenez quelles données les services d'IA collectent et comment elles sont utilisées. Optez pour des services avec des engagements transparents et solides en matière de confidentialité.
- Pratiques de sécurité strictes : Utilisez des mots de passe uniques et forts et activez l'authentification à deux facteurs (2FA) pour tous vos comptes IA, comme vous le feriez pour les services bancaires ou de messagerie.
- Restez informé : Tenez-vous au courant des actualités et des mises à jour des fournisseurs d'IA concernant les incidents de sécurité ou les changements de comportement des modèles.
- Envisagez la diversification : Ne comptez pas uniquement sur une seule IA. outil pour toutes les tâches critiques. L'exploration de diverses plates-formes d'IA réputées (par exemple, Google Gemini, ChatGPT d'OpenAI) peut offrir différentes perspectives et réduire les risques de défaillance ponctuelle.
La semaine difficile d'Anthropic met en évidence que même les entreprises d'IA les plus avancées sont toujours aux prises avec l'élément humain dans leurs opérations. À mesure que l'intégration de l'IA s'approfondit dans tous les secteurs, des contrôles internes robustes, un audit continu et une communication transparente seront primordiaux pour maintenir la confiance du public et garantir un avenir numérique plus sûr.
