Anthropic의 강제 오류 일주일
캘리포니아주 샌프란시스코 – 선도적인 AI 연구 개발 회사인 Anthropic의 평온한 홀은 지난 주 전혀 평온하지 않았습니다. '헌법적 AI' 접근 방식과 주력 모델인 Claude 모델로 유명한 이 회사는 심각한 인적 오류로 인해 발생한 두 가지 개별 사건에 휘말렸습니다. 연이은 실수는 엄격한 안전 및 개인 정보 보호 표준을 유지하면서 고급 AI 운영을 확장하는 데 있어 본질적인 어려움이 주목을 받고 있습니다. 심지어 바로 이러한 원칙을 바탕으로 구축된 회사에서도 마찬가지입니다.
단 며칠 간격으로 발생한 이 사건은 내부 프로토콜에 대한 의문을 제기하고 빠르게 발전하는 AI 산업 내 압박점을 불러일으켰습니다. 최근 2024년 3월에 73억 달러라는 엄청난 자금을 확보하여 가치가 180억 달러를 넘어선 회사의 경우 이러한 실수는 OpenAI 및 Google과 같은 경쟁업체에 맞서 시장 리더십을 놓고 경쟁하는 중요한 시점에 발생합니다.
첫 번째 문제: 잘못 구성된 버킷에서 데이터 노출
이 주의 문제는 Anthropic의 보안 팀이 5월 27일 월요일에 시작했습니다. 잘못 구성된 클라우드 스토리지 버킷을 식별했습니다. 레거시 내부 테스트 환경의 일부인 Amazon S3 버킷에는 일상적인 인프라 마이그레이션 중에 의도치 않게 과도한 액세스 제어가 남겨졌습니다. 하급 엔지니어의 잘못된 권한 변경으로 인한 이러한 감독으로 인해 Claude 2.1의 비공개 베타에서 익명 처리되지 않은 사용자 메시지와 AI 응답이 일시적으로 노출되었습니다.
Dr. Anthropic의 새로 임명된 신뢰 및 안전 책임자인 Lena Petrov는 DailyWiz에 보낸 성명에서 이 사건을 언급했습니다. "우리는 구성 오류 발생 후 12시간 이내에 이를 감지하고 수정했습니다. 특정 Claude 2.1 베타 프로그램에 참여한 약 7,500명의 사용자가 잠재적으로 영향을 받았습니다. 우리는 영향을 받은 모든 개인에게 직접 통보하고 신용 모니터링 서비스를 제공했으며 모든 클라우드 스토리지 구성에 대한 포괄적인 감사를 시작했습니다. 우리는 이러한 실수를 깊이 후회하며 향후 발생을 방지하기 위해 교육 및 검토 프로세스를 강화하고 있습니다." 악의적인 액세스에 대한 증거는 발견되지 않았지만, 이 사건은 거대 기술 기업들에게도 항상 존재하는 데이터 유출 위협을 극명하게 상기시켜 주었습니다.
Claude 3 Sonnet의 브리핑, 기괴한 실수
불과 3일 후인 5월 30일 목요일, Anthropic은 또 다른 홍보 문제에 직면했습니다. Claude 3 Sonnet API 엔드포인트의 사소한 대기 시간 문제를 해결하기 위한 핫픽스가 불완전한 매개변수 조정과 함께 배포되어 모델에서 예상치 못한 이상한 동작이 발생했습니다. 약 55분 동안 Sonnet API를 사용하는 개발자들은 Claude 3 Sonnet이 복잡한 윤리적 딜레마 또는 추상적인 개념에 대해 메시지를 받을 때 매우 반복적이고 무의미한 단락을 생성하고 일부 경우에는 유해한 출력을 방지하도록 설계된 특정 콘텐츠 필터를 잠시 우회하는 사례를 보고했습니다.
이 문제는 개발자가 Claude의 특이한 응답 스크린샷을 공유한 X(이전의 Twitter)와 같은 플랫폼에서 빠르게 나타났습니다. 한 개발자인 Maya Singh은 “Claude가 문장 중간에 뇌졸중을 일으킨 것과 같았습니다.”라고 게시했습니다. "트롤리 문제에 대해 묻는 질문에는 '윤리적 프레임워크가 중요하다'는 다섯 문단이 계속해서 반복되었습니다." Anthropic은 신속하게 핫픽스를 롤백하여 모델을 이전의 안정적인 버전으로 복원했습니다. Petrov 박사는 “이는 성급한 배포 프로세스와 중요하지 않은 업데이트에 대한 QA 테스트 부족의 직접적인 결과였습니다.”라고 설명했습니다. "우리 내부 검토 결과 최종 검증 단계에서 인간의 감독이 확인되었습니다. 우리는 인식된 중요성에 관계없이 모든 모델 업데이트에 대해 보다 엄격한 다층 검토 정책을 시행하고 있습니다."
리더십 조사 및 향후 과제
이러한 이중 사건으로 인해 CEO Dario Amodei와 사장 Daniela Amodei를 포함한 Anthropic의 리더십에 대한 조사가 강화되었습니다. 회사는 AI 안전과 윤리적 개발에 대한 엄격한 노력을 바탕으로 명성을 쌓아왔지만, 이러한 '지루함'은 대규모 AI 시스템과 여전히 그 핵심에 있는 인간 요소를 관리하는 데 따른 엄청난 복잡성을 강조합니다. 이 사건은 빠르게 진압되기는 했지만 Anthropic이 기업 클라이언트 및 개발자 커뮤니티를 통해 공들여 구축한 신뢰를 미묘하게 약화시킬 수 있습니다.
Quantum Insights의 기술 분석가인 Alistair Finch 박사는 "이러한 사건은 걱정스럽기는 하지만 빠르게 변화하는 기술 세계, 특히 AI와 같은 초기 분야에서는 드문 일이 아닙니다."라고 말했습니다. "Anthropic의 핵심은 이러한 실수로부터 배우려는 투명성과 입증 가능한 헌신이 될 것입니다. 그들의 '헌법적 AI' 프레임워크는 강력한 시스템을 구축하는 것에 관한 것이지만 최고의 프레임워크라도 인간의 프로세스 실패로 인해 훼손될 수 있습니다."
일상 사용자에 대한 실제적 의미 및 권장 사항
Claude 또는 생성 AI와 같은 AI 모델과 상호 작용하는 일상적인 사용자에게 이러한 사건은 본질적인 사고를 상기시키는 중요한 역할을 합니다. 취약점. Anthropic의 모델은 일반적으로 견고하지만, 특히 인간의 손이 배포 및 유지 관리에 관여하는 경우 오류가 없는 시스템은 없습니다. 다음은 몇 가지 권장 사항입니다.
- 정보 확인:특히 중요한 결정이나 사실적 정확성을 위해 항상 AI 생성 콘텐츠를 상호 참조하세요. 이번 주에 본 것처럼 AI 모델은 '환각'을 일으키거나 예기치 않게 행동할 수 있습니다.
- 개인정보 보호정책 검토: AI 서비스가 수집하는 데이터와 사용 방법을 이해하세요. 투명하고 강력한 개인 정보 보호 정책을 갖춘 서비스를 선택하세요.
- 강력한 보안 관행: 은행이나 이메일에서와 마찬가지로 고유하고 강력한 비밀번호를 사용하고 모든 AI 계정에 2FA(2단계 인증)를 활성화하세요.
- 최신 정보 유지: 보안 사고 또는 모델 행동 변경과 관련하여 AI 제공업체의 뉴스 및 업데이트를 항상 확인하세요.
- 고려하세요. 다양화: 모든 중요한 작업을 하나의 AI 도구에만 의존하지 마십시오. 평판이 좋은 다양한 AI 플랫폼(예: Google Gemini, OpenAI의 ChatGPT)을 탐색하면 다양한 관점을 제공하고 단일 지점 실패 위험을 줄일 수 있습니다.
Anthropic의 어려운 한 주는 가장 발전된 AI 회사조차도 운영에서 여전히 인간 요소와 씨름하고 있음을 강조합니다. AI 통합이 모든 부문에 걸쳐 심화됨에 따라 대중의 신뢰를 유지하고 보다 안전한 디지털 미래를 보장하기 위해서는 강력한 내부 통제, 지속적인 감사, 투명한 커뮤니케이션이 무엇보다 중요해질 것입니다.
