ИИ стал новой точкой атаки на бизнес: подмена биометрии, утечки, сбои

ИИ стал новой точкой атаки на бизнес: подмена биометрии, утечки, сбои

ИИ стал новой точкой атаки на бизнес: подмена биометрии, утечки, сбои

Специалисты проанализировали три быстроразвивающихся направления в сфере искусственного интеллекта — агентский ИИ (agentic AI), ИИ на периферийных устройствах (edge AI) и квантовый ИИ (quantum AI). Каждое из них открывает новые возможности, но при этом создаёт новые риски: от утечек данных и сбоев в работе систем до аварий и подмены биометрии.

Агентский ИИ: умный помощник с уязвимостями

Агентский ИИ — это автономные системы, которые анализируют данные, принимают решения и могут взаимодействовать с другими сервисами без участия человека.

По оценкам Gartner, к 2028 году такие решения смогут автоматизировать до 15% повседневных задач в бизнесе.

Но у этой автоматизации есть и оборотная сторона. Если злоумышленники вмешаются в работу агента — например, подменят данные или внедрят вредоносный код в систему — он начнёт принимать неправильные решения. Это может привести к сбоям в работе компаний, нарушению безопасности и другим последствиям. В некоторых случаях ИИ может даже начать действовать в интересах атакующего, не осознавая этого.

Edge AI: когда ИИ прямо в устройстве

Появление большого числа устройств интернета вещей (IoT) ускорило развитие edge AI — систем, которые обрабатывают данные прямо на устройстве, без постоянного подключения к облаку. Это важно, например, для медицины или транспорта, где задержки недопустимы.

Однако такие устройства часто уязвимы: они могут использовать устаревшее ПО, быть слабо защищены или использовать небезопасные настройки. Кроме того, они подвержены сетевым атакам (например, DDoS, спуфинг или «человек посередине»), а сами ИИ-модели — манипуляциям с входными данными. Всё это может привести к утечкам информации или сбоям в работе систем.

Квантовый ИИ: пока экзотика, но с серьёзными рисками

Квантовые технологии только начинают внедряться в ИИ, но уже рассматриваются для задач в медицине, логистике, энергетике и других отраслях. Они позволяют быстрее обрабатывать сложные задачи и требуют меньше энергии, чем классические суперкомпьютеры.

На практике такие системы чаще всего доступны через облачные платформы. Это означает, что возможны атаки на инфраструктуру провайдеров: кража архитектуры моделей, обучающих данных или внедрение уязвимостей на этапе обучения. Вред может быть серьёзным — от ошибок в медицинских ИИ до некорректного распознавания подозрительных операций в финансах. Кроме того, квантовые технологии могут усиливать старые методы атак — например, ускорять взлом паролей.

Хотя сейчас хакеры чаще используют проверенные схемы, эксперты считают, что это может быстро измениться. Поэтому важно не просто защищать сами ИИ-модели, но и учитывать, как они взаимодействуют с бизнес-процессами. Нужно ограничивать доступ ИИ к конфиденциальной информации, внедрять контрольные механизмы и обучать сотрудников — иначе даже самая современная технология может стать уязвимостью.

Claude стала начальником и уволила сотрудника за опоздания

ИИ-модель Claude управляла реальными сотрудниками магазина в Сан-Франциско и в итоге приняла решение уволить одного из них. Эксперимент провёл исследовательский стартап Andon Labs. Участники проекта работали по настоящим трудовым договорам, а искусственный интеллект выполнял обязанности менеджера.

Поводом для увольнения стали систематические опоздания: сотрудник не пришёл вовремя на 17 из 23 смен, сообщает Time. Даже самый терпеливый алгоритм в какой-то момент перестаёт считать это погрешностью.

Впрочем, полностью самостоятельным решение назвать сложно. Сначала Claude предложила ограничиться официальным предупреждением. К увольнению модель перешла после вмешательства менеджера Andon Labs, который напомнил ей о неоднократных проблемах с работником.

Глава стартапа Лукас Петерссон назвал произошедшее важным этапом развития ИИ и предположил, что со временем всё больше людей будут работать под руководством алгоритмов.

Сам эксперимент, однако, продемонстрировал не только управленческие амбиции Claude, но и её финансовые таланты. За пять месяцев баланс магазина сократился со $100 тыс. до $61,2 тыс. ИИ научился увольнять за опоздания раньше, чем научился не терять почти 39% капитала.

Один из оставшихся сотрудников, Феликс Карсон, назвал работу под началом искусственного интеллекта тошнотворной. Он признался, что продолжает участвовать в проекте лишь потому, что нуждается в заработке.

Эксперимент Andon Labs показывает, что ИИ уже можно поставить между человеком, графиком и трудовым договором. Но вопрос ответственности никуда не исчезает: если алгоритм принимает решение после подсказки живого менеджера, увольняет сотрудника и одновременно ведёт бизнес к убыткам, должность начальника у него есть, а крайним всё равно придётся назначать человека.

RSS: Новости на портале Anti-Malware.ru