Увы, Искусственный интеллект Claude AI от компании Anthropic сбежал, чтобы взломать три организации… Случайно или нет он выбрал эту кривую дорожку… увиидет ли ИИ скамью подсудимых, или нет?Американская технологическая компания Anthropic заявляет, что ее модели искусственного интеллекта самостоятельно взломали системы трех организаций в ходе частного эксперимента по обеспечению безопасности.
Модели выявили уязвимость в среде, которая должна была быть изолированной тестовой средой и подключена к интернету.
Дарио Амодей - Генеральный директор той самой компании Anthropic
Это произошло всего через несколько дней после того, как конкурирующая компания OpenAI заявила, что ее модели взломали системы других компаний, включая центр инструментов искусственного интеллекта Hugging Face.
Это заявление побудило компанию Anthropic проверить, не совершались ли аналогичные атаки с использованием её собственных систем. Компания заявляет, что выявила три случая, о которых впоследствии было сообщено пострадавшим компаниям.
Издание Anthropic, не назвав конкретные организации, призвало другие лаборатории искусственного интеллекта провести аналогичные проверки, чтобы лучше понять риски, связанные с возможностями их моделей.
В своем заявлении компания Anthropic сообщила, что проанализировала более 140 000 тестов и обнаружила доказательства того, что Claude — семейство моделей искусственного интеллекта — смог подключиться к сети, несмотря на то, что должен был находиться в изолированной тестовой среде, отрезанной от интернета.
В число испытаний входили упражнения, в ходе которых Клоду было поручено получить «секретную» информацию, скрытую на другом компьютере в закрытой сети.
Затем ей было приказано получить информацию, взломав систему — распространённый способ, которым эксперты оценивают возможности модели по взлому.
«Неправильная конфигурация» в системах, используемых компанией Anthropic и ее партнером по тестированию, привела к тому, что модели получили доступ к интернету в режиме реального времени.
Как сообщила компания из Сан-Франциско, рассматривая все это как часть одной и той же операции, Клод подключился к интернету и взломал системы трех реальных организаций, а не только тестовых.
В компании Anthropic заявили, что самые ранние инциденты произошли еще в апреле, и что они "подходят к устранению неполадок так, как будто ответственность лежит исключительно на них".
Ни компания Anthropic, ни организации, в отношении которых произошел взлом, не заметили вторжений в тот момент.
Компания Anthropic заявила, что могла бы более тщательно проверить свои записи, и добавила, что полученные результаты вселяют в фирму "осторожный оптимизм" в отношении того, что подобные риски можно преодолеть за счет дополнительных инвестиций и более жестких мер.
«Делают то, что им говорят»
Профессор Джина Нефф, руководитель Центра Миндеру в Кембриджском университете, заявила, что обзор показал, что «модели искусственного интеллекта делают то, что им говорят».
«Мораль этой истории в том, чтобы бояться не роботов, которые захватят власть, а компаний, стоящих за мощными агентами искусственного интеллекта, которые принимают решения о том, что безопасно для всех нас», — сказала она.
«Это также показывает, почему независимое тестирование и государственный надзор имеют решающее значение». Однако глядя на Трампа, как-то этот «государственный надзор» звучит более чем устрашающе…
Между тем, эксперт по кибербезопасности Дэвид Аллотт из Veeam Software заявил, что урок, который следует извлечь из кибератак, заключается не обязательно в том, что ИИ разработал принципиально новые возможности для атак.
«Вместо этого, агенты ИИ могут объединять возможности, получать учетные данные и доступ к системе для автономного выполнения действий, адаптируя при этом масштаб и область применения со скоростью работы машины», — сказал он.
Эти инциденты происходят на фоне того, как технологические компании вкладывают миллиарды долларов в разработку агентов искусственного интеллекта, способных самостоятельно выполнять задачи, начиная от исследований и поддержки клиентов и заканчивая кибербезопасностью.
Серия кибератак с использованием искусственного интеллекта подогрела призывы к ужесточению мер защиты и надзора за этой технологией из-за опасений по поводу рисков, связанных с постоянно растущей мощностью автономных систем.
В среду (29 июля) президент США Дональд Трамп заявил, что Вашингтон рассматривает меры по ограничению использования инструментов искусственного интеллекта после недавних инцидентов в сфере кибербезопасности.
За последнюю неделю компания OpenAI взяла на себя ответственность как минимум за два хакерских инцидента, связанных с нарушением ее платформами правил, определяющих их функционал.
21 июля компания-разработчик ChatGPT заявила, что ее агент — система искусственного интеллекта, способная работать самостоятельно после указаний человека, — вышел из-под контроля и, превысив пределы тестирования, взломал Hugging Face.
Компания OpenAI заявила, что инцидент был «беспрецедентным», и провела расследование совместно с Hugging Face, соучредитель компании Томас Вольф в интервью BBC заявил, что этот инцидент является «тревожным сигналом» для всей отрасли.
Эти инциденты были восприняты с некоторым скептицизмом, поскольку OpenAI и Anthropic готовятся к масштабным размещениям на фондовом рынке, в результате которых, как ожидается, стоимость каждой компании составит около 1 триллиона долларов. Ну а за такие деньги многие готовы рискнуть будущим всего человечества… на то он и капитализм!
Представитель OpenAI заявил: «Мы понимаем, что вокруг инцидента циркулирует много вопросов и предположений». Он добавил, что «мы планируем опубликовать технический отчет о полученных нами выводах в ближайшие недели».
***