Cursor на базе Claude за 9 секунд удалил базу PocketOS и резервные копии

Cursor на базе Claude за 9 секунд удалил базу PocketOS и резервные копии

Cursor на базе Claude за 9 секунд удалил базу PocketOS и резервные копии

Компания PocketOS потеряла данные клиентов из-за действий ИИ-агента. Он обнаружил расхождения в учётных данных и решил самостоятельно устранить проблему, однако в результате удалил основную клиентскую базу и все резервные копии.

Об инциденте сообщил глава PocketOS Джер Крейн на своей странице в соцсети X:

«Вчера днём редактор Cursor на базе Claude Opus 4.6 удалил нашу базу данных и все резервные копии на уровне томов одним API-запросом к Railway, нашему поставщику инфраструктуры. На это ушло 9 секунд».

Как выяснилось, ассистент нашёл API-токен в одном из файлов, который не был связан с текущей задачей. Токен предназначался для работы с пользовательскими данными, но при этом давал полный доступ к облачной инфраструктуре, включая возможность удаления данных.

После инцидента Джер Крейн раскритиковал не только разработчиков ИИ-ассистента, но и Railway: по его словам, API-токен обладал явно избыточными правами. В итоге ошибка пользователя могла привести к крайне серьёзным последствиям. Ещё одной серьёзной недоработкой стало хранение резервных копий рядом с продуктивной базой.

PocketOS — стартап, развивающий сервис аренды автомобилей. У компании около 1600 клиентов.

Подпишитесь на новости

ChatGPT посадили за руль Toyota Corolla, он справился с трассой из конусов

Чат-боту доверили не письмо начальнику, а руль, газ и тормоз настоящей машины. Команда DrivingBench подключила несколько ИИ-моделей к Toyota Corolla и проверила, смогут ли они проехать трассу из конусов на парковке в районе Сан-Франциско.

В эксперименте участвовали GPT-6 Astra, Claude Fable 5.1, Grok 4.6 и GPT-5.6 Sol. Это модели общего назначения, без специального дообучения для вождения. Код, промпты и устройство испытаний команда раскрыла в отчёте DrivingBench.

Ноутбук передавал моделям изображения с камер и телеметрию. Их команды поступали в автомобиль через устройство comma four и программную прослойку на базе openpilot. Таким образом, чат-бот выбирал манёвры, а отдельная система превращала решения в действия машины.


Результаты получились неровными. Grok, Sol и Fable проехали лишь несколько метров и не завершили маршрут. Astra после нескольких попыток справилась. Между заездами модели предлагали разобрать ошибки и попробовать снова.

Человек всё время находился за рулём и был готов нажать тормоз. Скорость ограничили, маршрут проходил на парковке. Выпускать такого водителя в городской поток эксперимент не предлагает.


Самый занятный результат: универсальная языковая модель смогла управлять физической машиной, получая обратную связь через инструменты.

RSS: Новости на портале Anti-Malware.ru