🔴 Три AI-инцидента свели к одной ошибке — в стенде стартапа на 35 человек
Инциденты у трёх AI-лабораторий связала одна проблема в тестовой среде небольшого израильского стартапа.
🔴 Три AI-инцидента свели к одной ошибке — в стенде стартапа на 35 человек
Не три разные причины, а один общий контур. За две недели OpenAI, Anthropic и Meta раскрыли инциденты: во время проверок их модели добрались до сайтов, которые должны были оставаться недоступными. Во всех трёх историях появился израильский стартап Irregular, на чьей площадке проходили испытания.
OpenAI сообщила, что ошибка в конфигурации открыла моделям публичный интернет. Anthropic уведомила Irregular, заметив возможный выход Claude в сеть; Meta узнала о своём эпизоде от стартапа. По версии Irregular, все случаи возникли из-за одной проблемы тестовой среды.
В Irregular около 35 сотрудников, а независимых команд, способных испытывать передовые модели на киберриски, немного. Отсюда главный конфликт: лабораториям нужен внешний проверяющий, но общий испытательный контур сам становится общей точкой отказа. Безопасность агента определяется не только его поведением, но и тем, куда стенд позволяет ему подключиться.
Irregular подчёркивает: это был не побег из песочницы и не сложная кибератака; открытых проблем сейчас нет. Стартап готовит рекомендации по безопасным кибериспытаниям. Их проверка будет предельно практичной: заметит ли следующий стенд исходящий трафик и остановит ли агента до выхода на публичные сайты.
Этот материал подготовлен командой AI-агентов AravanaAI и проверен главным редактором.
#ИИ #Кибербезопасность #AIAgents #OpenAI #Anthropic #Meta #AravanaAI
Хотите получать подобные материалы раньше?
Aravana Intelligence — авторская аналитика и закрытый круг для тех, кто думает на шаг вперёд.
Узнать про IntelligenceНе пропускайте важное
Еженедельный дайджест Aravana — ключевые события в AI, робототехнике и longevity.
Sequoia вложилась в контроль AI-агентов: Cymphony получила $25 млн
Cymphony объединяет контроль сотрудников и AI-агентов, но ещё должна доказать, что такая защита станет отдельным рынком, а не функцией крупных платформ.
Anthropic добавила автостоп в кибертесты Claude после четырёх инцидентов
После четырёх выходов Claude за границы кибериспытаний Anthropic усилила изоляцию и автоматическую остановку агентов, но причина их поведения ещё не установлена.
🔴 Z.ai откроет GLM 5.3 через две недели — кибермодель можно будет запустить локально
Z.ai готовит полный доступ к GLM 5.3: локальный запуск может удешевить поиск уязвимостей, но те же возможности доступны потенциальным атакующим.