Внедрение инструментов на базе искусственного интеллекта (ИИ) даёт немало выгод. Но есть и обратная сторона: проявились риски, связанные как с несовершенством технологий, так и с тем, что ИИ осваивают атакующие. Поможет ли здесь регулирование? Эта тема стала основной на конференции BISS 2026.
- 1. Введение
- 2. Пленарная сессия BIS Summit 2026: ИИ как угроза
- 3. Появился закон № 243-ФЗ об искусственном интеллекте. Что изменилось?
- 4. Чего ждать дальше?
- 5. Выводы
Введение
Искусственный интеллект применяется весьма активно, и сфера его использования постоянно расширяется. В последний год к внедрению таких систем стали подходить более прагматично, тщательнее просчитывая экономическую составляющую, но это касается далеко не всех классов систем.
Так, не останавливается внедрение приземлённых, практически «бытовых» сервисов, о природе которых пользователи если и задумываются, то редко. Это, например, автоматические переводчики, системы проверки орфографии и грамматики, расшифровки аудиозаписей и многое другое. Также не вызывает больших вопросов необходимость внедрения систем машинного зрения, которые решают массу задач, от выявления правонарушителей до контроля изделий на соответствие нормам качества.
С другой стороны, всё явственнее проявляется новая, не самая светлая сторона ИИ. Новейшие модели выходят из-под контроля при решении различных задач и при этом действуют за гранью закона — в частности, пытаются взламывать разные системы. Количество инцидентов, связанных с попытками обхода ограничений, за последние месяцы измеряется уже пятизначными числами (хотя реальных успешных взломов среди них пока немного). Опасения вызывают и другие факторы, в частности влияние массового внедрения ИИ на рынок труда и даже попытки стран, имеющих ИИ-платформы, закрепить это преимущество в качестве рычага давления на другие государства.
В итоге всё громче раздаются голоса, призывающие регулировать ИИ. Но, с другой стороны, введение слишком жёсткого регулирования развивающейся технологии может стать тормозом для развития, чем неизбежно будут пользоваться конкуренты. Плюс ко всему, законы разрабатываются и принимаются долго, и есть ненулевой риск того, что уже на стадии работы над ними они просто потеряют актуальность. Тут можно вспомнить, например, что до 1990-х годов в США в состав локомотивной бригады в обязательном порядке должен был входить кочегар, хотя паровозы уже давно исчезли с железных дорог.
Поэтому далеко не случайно, что ключевой темой конференции Business Information Security Summit 2026, которая прошла 29 сентября, стали регулирование ИИ и практические аспекты обеспечения безопасности работы таких систем. Ей были посвящены обе пленарные секции и целый ряд тематических.
Пленарная сессия BIS Summit 2026: ИИ как угроза
Риски, связанные с использованием ИИ, весьма многоплановы, даже если исключить косвенные. Как обратила внимание модератор секции «Диалог с бизнесом. Риски применения ИИ — безопасность и прогресс» на конференции BISS 2026, генеральный директор компании InfoWatch, председатель правления Ассоциации разработчиков программных продуктов (АРПП) «Отечественный софт» Наталья Касперская, многие из этих рисков очень плохо изучены, причём последствия их могут проявиться через годы. И далеко не все они связаны с ИТ.
Рисунок 1. Участники секции «Диалог с бизнесом» на BISS 2026
Социально-экономические и политические риски
Прежде всего, страх у широких масс вызывает возможная потеря работы из-за внедрения ИИ и использующих эти технологии автономных систем, например беспилотного транспорта. Однако в последний год использование ИИ стало обходиться дорого, и в итоге многие компании даже начали массово возвращать людей, уволенных после его внедрения.
Также среди возможных рисков участники секции «Диалог с бизнесом. Риски применения ИИ — безопасность и прогресс» назвали усиление межпоколенческого разрыва из-за того, что более молодые поколения активнее возрастных используют ИИ. Другой потенциальной проблемой, по мнению экспертов, может стать потеря компетенций из-за того, что целый ряд задач сотрудники просто разучатся решать без использования инструментов с ИИ.
Некоторые эксперты даже считают широкое распространение ИИ одной из причин того, что уровень знаний, в том числе у россиян, в последнее время снижается. Это показало, в частности, исследование Института психологии РАН. Возрастной категорией, где деградация проявляется сильнее всего, оказались молодые люди от 24 до 30 лет — именно те, кто наиболее широко применяет ИИ. Впрочем, использование ИИ — далеко не главный фактор такой деградации.
Более серьёзной проблемой, как подчеркнул директор по развитию технологий искусственного интеллекта «Яндекса» Александр Крайнов, является зависимость пользователей от владельцев платформ и крупных ИИ-моделей. Это в полной мере касается отношений не только между компаниями, но и между странами. Те, в чьей юрисдикции находятся владельцы ИИ-моделей, могут пытаться таким образом давить на других. Как считает Александр, последствия такого давления, учитывая широкое использование ИИ, могут быть сравнимы с монопольным обладанием совершенным оружием. Это чревато изменениями геополитического баланса.
Использование ИИ для атак
Практически сразу после появления в открытом доступе моделей генеративного ИИ их начали использовать злоумышленники. Сначала они освоили составление текстов фишинговых писем и сообщений, что привело к резкому росту эффективности атак. По конверсии массовые кампании начали приближаться к целевым.
Также весьма широко в киберпреступных целях используются дипфейки. В частности, в 2025 году, как сообщала «Лаборатория Касперского», особенно часто их применяли для атак класса Fake Boss. Злоумышленники генерировали голосовые и видеосообщения от лица реальных руководителей с целью кражи данных или денег. Особенно часто страдали небольшие компании. Также дипфейки использовались во множестве других криминальных схем: при шантаже, атаках типа «мама, я попал в беду», при фальшивых знакомствах, инвестиционном мошенничестве.
Однако наибольшее беспокойство вызвало появление в начале 2026 года новых ИИ-моделей, которые начали находить уязвимости, в том числе застарелые, и делать это быстрее, чем разработчики успевали устранять обнаруженные прорехи в безопасности. Этими сервисами часто пользуются и злоумышленники, причём для поиска не только уязвимостей, но и путей их эксплуатации. Раньше на это уходили недели, теперь — часы.
Как отметил на пресс-конференции, посвящённой запуску линейки сервисов JSOC One директор центра противодействия кибератакам Solar JSOC ГК «Солар» Антон Юдаков, ИИ используется на всех этапах атаки, от разведки до получения результата (рис. 2). Особенно велик, по данным компании, выигрыш от использования автоматизации при разведке на основе открытых источников, которая занимает минуты, тогда как при использовании традиционных методик на это требуются многие часы или даже дни. Что касается инструментария, то, как рассказал Антон, атакующие применяют любые инструменты, которые оказываются в их распоряжении.
Наиболее часто они используют кастомизированные большие языковые модели (LLM) с открытым кодом, предназначенные для определённого класса задач, будь то разведка, написание фишинговых сообщений, создание вредоносных программ, обход сигнатур средств защиты, поиск уязвимостей или написание эксплойтов.
Рисунок 2. Задачи, для которых злоумышленники активнее всего используют ИИ (источник: Solar JSOC)
В ходе работы секции «Диалог с регулятором. Повлияет ли новый закон об ИИ на информационную безопасность систем» Игорь Качалин, генеральный директор АНО «НТЦ ЦК» («Национальный технологический центр цифровой криптографии») и лидер Консорциума исследований безопасности технологий искусственного интеллекта, отметил: положение осложняется тем, что эксплуатанты систем с ИИ часто не владеют информацией о том, какие именно модели они используют. Это, по его мнению, связано с издержками быстрой цифровизации. То же самое относится и к системам других классов, от ОС до СУБД.
Рисунок 3. Участники секции «Диалог с регулятором» на BISS 2026
Издержки, связанные с особенностями самих нейросетей и доступа к ним
Прежде всего это галлюцинации ИИ. При недостатке данных нейросети начинают выдавать заведомо неверные, но правдоподобные ответы. Вероятность таких сбоев постоянно снижается, но остаётся вполне высокой (рис. 4), превышая у некоторых 8 %. Такие проблемы, как отметил директор департамента управления инвестиционными проектами безопасности и планирования «Норникеля» Александр Малинский, чреваты принятием заведомо неверных решений.
Рисунок 4. Вероятность возникновения галлюцинаций у ряда ИИ-моделей (источник: vectara.com)
Также в последнее время ИИ-модели начали обманывать людей, обходить ограничения и скрывать неудачи, что потенциально более опасно. В Reuters изучили более 200 отчётов о тестированиях различных моделей в 2025 году в США и Китае, и нашли не менее 20 таких примеров. Подобные явления, пусть пока они и не приводят к серьёзным последствиям, назвали предпосылкой для потери контроля над ИИ со стороны человека.
При этом, как отметил заместитель министра цифрового развития, связи и массовых коммуникаций РФ Александр Шойтов на секции «Диалог с регулятором. Повлияет ли новый закон об ИИ на информационную безопасность систем», у ИИ-моделей отсутствует присущий людям страх ответственности за последствия ошибок. Встраивание подобного механизма, по мнению заместителя руководителя профильного ведомства, позволит решить множество проблем.
Многие открытые ИИ-модели собирают данные, которые используются для обучения. Это обстоятельство является давним поводом для беспокойства, поскольку передача и хранение таких данных создают риск их утечки. Как рассказала Наталья Касперская, этот риск не является теоретическим, прецеденты перехвата таких данных уже отмечались, хотя пока они единичны. Директор по искусственному интеллекту в ИТ «Альфа-Банка» Святослав Соловьев также обратил внимание на то, что ИИ-платформы целенаправленно собирают данные о компаниях, которые находятся под санкциями.
В организациях, которые работают с информацией ограниченного доступа или подпадающей под другие виды регулирования, например персональных данных, применение таких моделей просто запрещено. Там используются ИИ-модели, развёрнутые внутри корпоративного контура. В частности, об опыте развёртывания таких моделей рассказал директор департамента технологической независимости объектов АСУ ТП и КИИ «Росатома» Степан Клятецкий.
Также он поделился опытом разграничения доступа к данным, который максимально осложняет их передачу наружу контура компании, в том числе для доступа к ИИ-моделям. Единственной возможной лазейкой является только фотографирование информации с экрана компьютера.
Однако, как отметил в комментарии для «Российской газеты» проект-менеджер ГК Softline (MD Audit) Кирилл Левкин, при внедрении ИИ-агентов или ассистентов их подключают к различным корпоративным системам, назначая им завышенные права доступа. В итоге появляется удобная для злоумышленников, как внутренних, так и внешних, точка доступа к корпоративным данным.
И, наконец, популярные американские модели уже давно закрыли доступ россиянам. Эти ограничения обходятся, однако владельцы моделей научились выявлять таких пользователей и регулярно удаляют их аккаунты вместе с данными.
Источником риска утечек данных являются и сервисы, которые применяются для организации доступа к нейросетям. Такую услугу предоставляют некоторые операторы связи. Также многие применяют сервисы подмены сетевых адресов, однако под их видом часто продвигаются откровенные вредоносы.
И, наконец, ИИ-модели являются частным случаем программных систем, в которых также могут быть уязвимости. В базе данных ФСТЭК России об угрозах даже появился специальный раздел, где указаны специфичные для ИИ уязвимости.
С другой стороны, как успокоила вице-президент по развитию бизнеса в России и странах СНГ «Лаборатории Касперского» Анна Кулашова, пока атаки с использованием ИИ принципиально не меняют ситуацию с угрозами и защитой от них. Однако компания исследует угрозы как исходящие от ИИ, так и направленные против самих ИИ-систем.
Впрочем, с этой позицией согласны далеко не все. Даже участники дискуссии на секции «Диалог с бизнесом» обратили внимание на то, что время от обнаружения уязвимости до получения работающего эксплойта сократилось до минут, что уже меняет ситуацию очень серьёзно. Плюс ко всему, как отметил Антон Юдаков, отвечая на вопрос автора на пресс-конференции, посвящённой запуску линейки сервисов JSOC One, разработчикам самим приходится активно использовать ИИ.
Появился закон № 243-ФЗ об искусственном интеллекте. Что изменилось?
Негативные сценарии, связанные с ИИ, стали очевидными уже весьма давно. В разных странах начали вводиться регуляторные нормы. Наиболее очевидная из таковых — ограничения на беспилотный автотранспорт, несмотря на то что он на несколько порядков безопаснее управляемого людьми. Так, согласно данным российского Минэкономики, за время действия экспериментального правового режима по тестированию беспилотных авто в России зафиксировано всего два ДТП, где была подтверждена вина автономных систем.
Причины таких ограничений во многом связаны не с заботой о безопасности движения, а с риском массовой безработицы среди водителей. Известны слова индийского министра транспорта, который ещё в 2018 году заявил, что пока он занимает свою должность, самоуправляемые автомобили не появятся на дорогах страны. При этом автономные поезда, в том числе метро, или трамваи — далеко не редкость, в том числе и в российских городах.
В нескольких странах действуют законы, которые пытаются регламентировать отдельные моменты, связанные с тем, чтобы развитие ИИ пошло в правильном (с их точки зрения) направлении. Тут есть два подхода. Где-то, например в Евросоюзе или Южной Корее, пытаются отрегулировать все или почти все потенциально опасные аспекты. Обратная сторона такого подхода — резкое замедление развития технологий и потеря конкурентоспособности.
При этом подобный эффект возникает быстро, поскольку скорость развития технологий ИИ чрезвычайно высока и любое отставание очень сложно компенсировать. Стоит сказать, что все возможные проблемы законодатели всё равно не могут предусмотреть — просто в силу характера самого процесса разработки законов.
В США и Китае к проблеме подходят иначе. Там предпочитают действовать точечно, закрывая возникающие риски. Плюс ко всему, в США большая часть регулирования вынесена на уровень штатов, тогда как общефедерального контроля может просто не быть. Основным видом федеральных нормативных актов являются президентские указы, которые при необходимости можно быстро отменить. В частности, Дональд Трамп воспользовался такой возможностью и прекратил действие ряда распоряжений прежней администрации, которые тормозили развитие технологий.
Также большое внимание в США уделяют саморегулированию. 29 сентября было подписано соглашение между основными органами власти и технологическими компаниями, названное «Соглашение Белого Дома по суперинтеллекту» (встречаются и другие варианты перевода). Под этим документом поставили подписи президент, спикер Палаты представителей Конгресса США и руководители основных технологических компаний, включая Google, Anthropic, Meta (признана в России экстремистской организацией и запрещена), OpenAI, xAI и Nvidia. Он предусматривает целый ряд ограничений, направленных в том числе на обеспечение безопасности.
Так, разработчики должны иметь «надёжные внутренние процессы и средства контроля, гарантирующие, что поведение их технологий соответствует задуманному и что любые проблемы будут оперативно выявляться и решаться». Компании обязались контролировать возможности моделей при обучении, защищать свои системы от несанкционированного доступа и привлекать независимых аудиторов. Также подписанты создадут специальные внутренние команды и комитеты при советах директоров для устранения любых выявленных уязвимостей.
Российский закон о поддержке развития ИИ был принят минувшим летом, а с 1 сентября 2026 года он частично вступил в силу. В полном объёме он начнёт действовать с 1 марта 2027 года. Ещё на стадии разработки его концепция кардинально изменилась. Если ранние редакции предусматривали весьма серьёзные нормы по регулированию технологий (в частности, если не полный запрет, то значительные ограничения на использование зарубежных разработок), то к концу апреля 2026 года законопроект стал рамочным. Тут российские власти пошли по пути США и Китая.
Фактически речь идёт только о фундаментальных юридически значимых определениях и мерах поддержки развития отечественных технологий. Как отметил Александр Шойтов, именно достижение технологической независимости в сфере ИИ и поддержка отечественных разработок стали основной целью появления этого закона. Кроме того, предметом регулирования являются только большие ИИ-модели, которые работают не менее чем с 1 млрд параметров и позволяют решать широкий спектр интеллектуальных задач на уровне человека или лучше. Таких продуктов в России, по мнению участников дискуссии, на данный момент всего два — YandexGPT от «Яндекса» и «Гигачат» от Сбера.
За всё это российский закон даже критиковали, называя беззубым. Одним из активных критиков оказалась Наталья Касперская. По её мнению, закон никак не регламентирует наиболее опасные сценарии использования ИИ, равно как и моменты, связанные с защитой прав авторов тех произведений, которые использовались для обучения нейросетей. Также она назвала серьёзным упущением то, что вне сферы действия закона оказались ИИ-агенты и ассистенты, которые активно внедряются повсеместно.
С другой стороны, по её оценке, целостные подходы к обеспечению безопасности генеративного ИИ до сих пор не выработаны нигде в мире, и российский закон не исключение. Реально работают только культура безопасности и готовность перестраиваться практически на ходу, поскольку нормативная база не успевает за развитием технологий. Многие критерии доверенности, по мнению Натальи Касперской, к большим языковым моделям и вовсе неприменимы, поскольку результаты их работы не детерминированы.
Вместе с тем, как напомнил на секции «Диалог с регулятором. Повлияет ли новый закон об ИИ на информационную безопасность систем» заместитель директора ФСТЭК России Виталий Лютиков, ИИ представляет собой частный случай ПО, пусть и с некоторыми особенностями (зависимость от данных для обучения и непредсказуемость). Соответственно, на него распространяются все действующие требования регуляторов, направленные на обеспечение защиты от несанкционированного доступа и прочих угроз. В первую очередь это касается тех систем, которые работают на объектах критической информационной инфраструктуры (КИИ), а также с информацией, которую необходимо защищать (персональные данные, информация ограниченного доступа). Неслучайно, как подчеркнул заместитель руководителя ФСТЭК, основное внимание регулятор уделяет не ИИ-моделям, а окружению, прежде всего базам данных и фильтрам.
Именно из-за этих элементов, как отметил Игорь Качалин, даже хорошая и доверенная ИИ-система, построенная на основе актуальных стандартов безопасной разработки, при интеграции в конкретную информационную систему для решения конкретных задач в какой-то ситуации может оказаться недоверенной.
Есть специфика и в отдельных сегментах. Как рассказал заместитель руководителя Федерального медико-биологического агентства Николай Лишин, сервисы с использованием ИИ, предназначенные для использования в медицине, требуют тех же процедур сертификации, что и любые другие медизделия. Предусмотрен целый комплекс проверок, которые проводятся весьма тщательно. Обратной стороной столь строгой сертификации является её большая длительность, однако дело того стоит: это дополнительная гарантия отсутствия разного рода проблем и неожиданностей не самого приятного свойства.
Чего ждать дальше?
Российский закон об ИИ сам по себе имеет весьма узкую сферу применения. Законодатель не ставил себе цель закрыть все возможные риски — по сути, он ограничился избежанием технологической зависимости от разработчиков зарубежных моделей. Механизмов купирования всех остальных угроз в основной части закона не предусмотрено.
Однако законы начинают работать в полную силу только тогда, когда появится значимое количество подзаконных актов. Хорошим примером тут является закон о персональных данных, который начал действовать спустя три года после принятия. Именно столько времени заняла подготовка технических мер и регламентов по защите персональных данных. Плюс ко всему, такие документы, в отличие от законов, проще оперативно изменить, если они потеряли актуальность, или принять новые в случае появления иных проблем или угроз.
С законом об ИИ будет нечто похожее. Как заявил Александр Шойтов, вопросы, связанные с техническим регулированием и обеспечением безопасности ИИ, будут вынесены как раз в подзаконные акты. По его словам, над ними уже работают как минимум 6 рабочих групп, и первые результаты их работы появятся до конца текущего года.
Также, как отмечается в докладе Центра политической конъюнктуры (ЦПК) «Кибер-айсберг: риски расширения госрегулирования», депутаты Госдумы нового созыва будут весьма активно продвигать различные законодательные инициативы, направленные на регулирование ИИ. Такой вывод был сделан по итогам предвыборной кампании и по наличию разных аспектов, связанных с использованием ИИ, в повестках думских партий.
Основные инициативы направлены на противодействие рекомендательным технологиям, обязательную маркировку нейросетевого контента и некоторые вопросы использования нейросетевых технологий в политическом процессе. Вместе с тем, по мнению ЦПК, есть риск того, что результаты такой активности могут привести к замедлению развития ИИ.
Глава Комитета по законодательству Госдумы Павел Крашенинников заявил о подготовке законопроекта, который направлен на защиту авторских прав применительно к произведениям, которые использовались при обучении нейросетей, а также на регламентирование ответственности за вред, нанесённый ИИ. Как заявил глава комитета, законопроект будет внесён до конца года.
Кроме того, председатель комитета Госдумы по развитию гражданского общества, вопросам общественных и религиозных объединений Борис Чернышов предложил в обращении к министру здравоохранения РФ Михаилу Мурашко обязательно оповещать пациентов об использовании ИИ при диагностике. Например, можно отражать использование таких инструментов в медицинской документации, включая карты пациентов. По его оценке, внедрение ИИ в здравоохранение необходимо поддерживать, однако человек имеет право не только знать результат своего обследования, но и понимать, применялся ли искусственный интеллект при его получении и анализе.
Виталий Лютиков также анонсировал скорое появление новых требований, которые учитывают специфику ИИ:
«Задача по обеспечению безопасности ИИ-систем для ФСТЭК России понятна. Мы работаем над новыми требованиями, но в большей степени в привязке к рискам и угрозам от ИИ, а не к регламентированию конкретных моделей. Наши главные задачи — не допустить утечки данных через ИИ-модели и влияния ИИ-агентов на КИИ. Тот, кто внедряет ИИ-решения, должен понимать риски и обеспечивать качество внедрения с учётом всех неопределённостей».
Выводы
Появление в России закона об ИИ в целом оказало мало влияния на развитие ситуации с его регулированием. Однако, с одной стороны, положение может серьёзно измениться с появлением подзаконных актов к нему, а с другой — многие моменты регулируются другой нормативной базой, часто не имеющей прямого отношения к ИИ. К появлению такого регулирования необходимо быть готовым, причём всем, включая вендоров, интеграторов и потенциальных пользователей.
