Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ. 

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

Холдинг Т1 ведет переговоры по покупке части акций ГК Астра

Мажоритарный акционер ГК «Астра» Денис Фролов ведёт переговоры о продаже 10–15% акций компании. Наиболее вероятным покупателем участники рынка называют холдинг «Т1». В общей сложности Денису Фролову принадлежит около 63% акций ГК «Астра», при этом часть пакета находится в залоге у банка ВТБ.

По мнению участников рынка, возможная продажа может быть связана с инвестициями в новый бизнес или необходимостью погашения долговых обязательств.

О переговорах по продаже пакета акций ГК «Астра» сообщают «Ведомости» со ссылкой как минимум на три источника на ИТ-рынке. По их данным, на продажу может быть выставлен пакет в 10–15% акций группы. Наиболее вероятным покупателем источники называют холдинг «Т1».

В самой ГК «Астра» изданию заявили, что «слухи не комментируют». При этом в компании отметили, что регулярно ведут переговоры с различными потенциальными инвесторами в рамках стратегии привлечения внешних инвестиций. Однако, по словам представителей ГК «Астра», благодаря хорошим финансовым показателям, отсутствию долговой нагрузки и стабильной прибыли необходимости во внешнем финансировании сейчас нет.

«Технологические коллаборации и партнёрства – часть нашей стратегии развития, и мы постоянно рассматриваем рынок на предмет интересных технологий. Сейчас сделок в работе на финальной стадии нет», – прокомментировали в «Т1».

По оценке аналитика «Финама» Леонида Делицина, стоимость пакета в 10–15% акций ГК «Астра» может составлять 6–9 млрд рублей. Для «Т1» приобретение доли в компании, решения которой используются в проектах цифровой трансформации, может дать дополнительное преимущество при участии в закупках и распределении госзаказов. Для Дениса Фролова, по мнению аналитика, продажа части пакета может стать способом вложиться в другой бизнес, сохранив при этом контроль над ГК «Астра».

Как отметил генеральный директор ГК «Астра» Илья Сивцев в интервью «Ведомостям», Денису Фролову принадлежит 62% акций группы. Общая капитализация ГК «Астра» составляет 59 млрд рублей. По словам Ильи Сивцева, сама группа пакеты акций не продаёт и не планирует этого делать, однако продажа со стороны акционеров не исключена.

Как напоминают «Ведомости», ранее уже появлялась информация о возможном интересе к покупке пакетов акций ГК «Астра», однако её опровергали.

RSS: Новости на портале Anti-Malware.ru