Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Учёные научились передавать связь на глубину до 100 метров под землёй

Южнокорейские исследователи из Electronics and Telecommunications Research Institute (ETRI) разработали новую технологию подземной беспроводной связи, способную работать на глубине до 100 метров. Речь идёт о вполне реальной разработке, результаты которой уже опубликованы в IEEE Xplore.

Главная идея в том, чтобы передавать сигнал под землёй не обычным радиочастотным способом, а с помощью магнитной индукции.

Именно такой подход позволяет обойти одну из главных проблем подземной связи: сильное затухание и деградацию сигнала в толще грунта и породы. Проще говоря, там, где обычная беспроводная связь быстро умирает, новая система всё ещё может работать.

Испытательный комплект у исследователей получился сравнительно компактным. В него вошли передающая рамочная антенна размером 0,9x0,9 метра, небольшой сенсор для приёма магнитного поля и беспроводная система связи с модуляцией QPSK.

Правда, скорость передачи данных пока очень скромная — всего 2 Кбит/с. Но для аварийной связи, телеметрии или передачи коротких сообщений этого уже может быть достаточно.

Тесты проводили в известняковой породе, которая хорошо блокирует обычные радиосигналы. И именно в таких сложных условиях технология показала себя особенно интересно.

Вообще, работа над этой идеей началась не вчера. Ещё в 2023 году исследователи показали, что подземная беспроводная связь в принципе возможна, но тогда использовался метод с управлением по напряжению, а у него были ограничения по дальности.

После перехода к схеме с управлением по току и применением магнитной индукции дальность сначала удалось довести до 40 метров, а затем и до 100 метров.

Важно и то, что системы связи класса «сквозь землю» уже существуют. Но обычно они добиваются нужной дальности за счёт очень высокой мощности передатчика. Новый подход, напротив, открывает путь к более компактным и менее энергоёмким устройствам. А значит, область применения такой технологии может оказаться куда шире.

По данным разработчиков, в ETRI уже рассматривают возможность внедрения этой технологии даже в смартфоны. Если это действительно удастся, подземная связь может стать гораздо доступнее для самых разных сценариев — от работы в шахтах, тоннелях и пещерах до спасательных операций.

Именно последний сценарий выглядит особенно важным. Такая технология потенциально может помочь экстренным службам поддерживать связь с людьми, которые оказались заблокированы или потерялись под землёй.

RSS: Новости на портале Anti-Malware.ru