Неделя невынужденных ошибок в Anthropic
Сан-Франциско, Калифорния – Обычно безмятежные залы Anthropic, ведущей компании по исследованиям и разработкам в области искусственного интеллекта, на прошлой неделе были совсем не спокойными. Компания, известная своим подходом «конституционного искусственного интеллекта» и флагманскими моделями Claude, оказалась втянутой в два отдельных инцидента, оба из которых связаны с критическими человеческими ошибками. Эти грубые ошибки привлекли внимание к проблемам, присущим масштабированию передовых операций искусственного интеллекта при сохранении строгих стандартов безопасности и конфиденциальности, даже для компании, построенной на этих самых принципах.
Инциденты, произошедшие с разницей всего в несколько дней, подняли вопросы о внутренних протоколах и точках давления в быстро развивающейся индустрии искусственного интеллекта. Для компании, которая недавно в марте 2024 года получила ошеломляющее финансирование в размере 7,3 миллиарда долларов и превысила свою оценку в 18 миллиардов долларов, эти ошибки произошли в критический момент, когда она соперничает за лидерство на рынке с такими конкурентами, как OpenAI и Google.
Первая ошибка: раскрытие данных из неправильно настроенного ведра
Неприятности недели начались в понедельник, 27 мая, когда Команда безопасности Anthropic обнаружила неправильно настроенную корзину облачного хранилища. В корзине Amazon S3, являющейся частью устаревшей внутренней среды тестирования, во время плановой миграции инфраструктуры случайно остался слишком строгий контроль доступа. Эта оплошность, связанная с неправильным изменением разрешения младшего инженера, привела к временному раскрытию неанонимных запросов пользователя и ответов ИИ из закрытой бета-версии Claude 2.1.
Доктор. Лена Петрова, недавно назначенный руководитель отдела доверия и безопасности Anthropic, рассказала об инциденте в заявлении DailyWiz. "Мы обнаружили и исправили неправильную конфигурацию в течение 12 часов с момента ее возникновения. Потенциально пострадали около 7500 пользователей, которые участвовали в конкретной бета-программе Claude 2.1. Мы напрямую уведомили всех затронутых лиц, предлагая услуги кредитного мониторинга, и начали комплексный аудит всех наших конфигураций облачных хранилищ. Мы глубоко сожалеем об этом упущении и усиливаем наши процессы обучения и проверки, чтобы предотвратить повторения в будущем". Хотя никаких доказательств злонамеренного доступа обнаружено не было, инцидент послужил суровым напоминанием о постоянной угрозе утечки данных, даже для технологических гигантов.
Краткий обзор Сонета Клода 3, странная ошибка
Всего три дня спустя, в четверг, 30 мая, Anthropic столкнулась с еще одной проблемой в сфере связей с общественностью. Исправление, предназначенное для устранения незначительной проблемы с задержкой в конечной точке API Claude 3 Sonnet, было развернуто с неполной настройкой параметров, что привело к неожиданному и странному поведению модели. В течение примерно 55 минут разработчики, использующие Sonnet API, сообщали о случаях, когда Claude 3 Sonnet, когда ему предлагались сложные этические дилеммы или абстрактные концепции, генерировал часто повторяющиеся бессмысленные абзацы, а в некоторых отдельных случаях ненадолго обходил определенные фильтры контента, предназначенные для предотвращения вредоносных выходных данных.
Проблема быстро всплыла на таких платформах, как X (ранее Twitter), где разработчики делились скриншотами необычных ответов Клода. «Как будто у Клода случился инсульт на полуслове», — написала одна из разработчиков Майя Сингх. «Вопрос о проблеме с троллейбусом привел к тому, что в пяти абзацах снова и снова повторялось: «Этические рамки имеют решающее значение». Anthropic быстро откатила исправление, вернув модель к предыдущей стабильной версии. «Это было прямым результатом поспешного процесса развертывания и недостаточного тестирования качества некритического обновления», — объяснил д-р Петров. "Наша внутренняя проверка выявила человеческий надзор на финальном этапе проверки. Мы внедряем более строгую политику многоуровневой проверки для всех обновлений модели, независимо от предполагаемой критичности".
Лидерство под пристальным вниманием и дальнейший путь
Эти двойные инциденты ставят руководство Anthropic, включая генерального директора Дарио Амодеи и президента Даниэлу Амодей, под повышенное внимание. Хотя компания построила свою репутацию на строгой приверженности безопасности ИИ и этическому развитию, эти «борки» подчеркивают огромную сложность управления крупномасштабными системами ИИ и человеческий фактор, который по-прежнему находится в их основе. Инциденты, хотя и были быстро локализованы, могут незаметно подорвать доверие, которое Anthropic с трудом завоевала среди своих корпоративных клиентов и сообщества разработчиков.
«Эти события, хотя и вызывают тревогу, не являются редкостью в быстро развивающемся мире технологий, особенно в таких новых областях, как искусственный интеллект», — прокомментировал доктор Алистер Финч, технический аналитик Quantum Insights. "Ключом для Anthropic будет их прозрачность и очевидное стремление учиться на этих ошибках. Их концепция "конституционного ИИ" направлена на создание надежных систем, но даже самые лучшие структуры могут быть подорваны сбоями в человеческих процессах".
Практические последствия для обычных пользователей и рекомендации
Для обычных пользователей, взаимодействующих с моделями ИИ, такими как Клод, или любым генеративным ИИ, эти инциденты служат важным напоминанием о неотъемлемых уязвимости. Хотя модели Anthropic в целом надежны, ни одна система не является непогрешимой, особенно когда в их развертывании и обслуживании участвуют человеческие руки. Вот несколько рекомендаций:
- Проверьте информацию:Всегда используйте перекрестные ссылки на контент, созданный искусственным интеллектом, особенно для принятия важных решений или обеспечения фактической точности. Модели ИИ могут «галлюцинировать» или, как мы видели на этой неделе, вести себя неожиданно.
- Изучите политику конфиденциальности. Узнайте, какие данные собирают службы ИИ и как они используются. Выбирайте сервисы с прозрачными и строгими обязательствами по обеспечению конфиденциальности.
- Надежные методы обеспечения безопасности: используйте уникальные надежные пароли и включите двухфакторную аутентификацию (2FA) для всех ваших учетных записей AI, так же, как вы это делаете для банковских операций или электронной почты.
- Будьте в курсе: будьте в курсе новостей и обновлений от поставщиков ИИ, касающихся инцидентов безопасности или изменений модели поведения.
- Рассмотрите возможность диверсификации: Не полагайтесь только на себя с помощью одного инструмента искусственного интеллекта для всех важнейших задач. Изучение различных надежных платформ искусственного интеллекта (например, Google Gemini, ChatGPT OpenAI) может открыть новые перспективы и снизить риски единичных сбоев.
Непростая неделя Anthropic подчеркивает, что даже самые передовые компании, занимающиеся искусственным интеллектом, все еще сталкиваются с человеческим фактором в своей деятельности. Поскольку интеграция ИИ углубляется во всех секторах, надежный внутренний контроль, непрерывный аудит и прозрачная коммуникация будут иметь первостепенное значение для поддержания общественного доверия и обеспечения более безопасного цифрового будущего.
