Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Подпишитесь на новости

В авиабилеты россиян могут добавить до 1000 рублей на новые самолёты

В России обсуждают новый сбор с авиапассажиров, который должен помочь оплатить лизинг и эксплуатацию отечественных самолётов. Предварительно речь идёт о сумме до 500 рублей за билет на внутренний рейс и до 1000 рублей — на международный.

Инициативу прорабатывают Минтранс, Минпромторг и «Ростех», выяснил «Коммерсантъ».

Никаких окончательных решений пока нет: власти ещё не утвердили ни размер платежа, ни методику его взимания. Один из источников называет и более интересные цифры — до 700 рублей внутри страны и до 2000 рублей за зарубежный рейс.

При пассажиропотоке 2025 года сбор мог бы приносить от 68 до 84 млрд рублей ежегодно. В общей сложности за 2027-2030 годы планируется собрать порядка 200-250 млрд рублей.

Деньги предполагается направлять лизинговым компаниям для покрытия разницы между себестоимостью самолётов и льготной ценой для перевозчиков. Часть средств могут получить авиакомпании, которым предстоит эксплуатировать новые машины: на первых этапах российские самолёты дороже западных аналогов не только при покупке, но и в обслуживании. Отдельно обсуждается компенсация расходов на авиатопливо.

Например, себестоимость первых МС-21 оценивается в 8,9-11 млрд рублей, тогда как Airbus A320–200 — примерно в 3,4-3,6 млрд. SJ-100 может обходиться в 5,4 млрд рублей против около 3 млрд за Embraer E190.

Предполагается, что после 2030 года серийное производство снизит стоимость российских самолётов и сбор станет не нужен. Но пассажирам обещание, что это временно наверняка покажется подозрительно знакомым.

Эксперты предупреждают: дополнительная нагрузка поднимет цены на билеты и может снизить пассажиропоток, а вместе с ним — доходы авиакомпаний, аэропортов и бюджета. Поэтому оплачивать первые годы эксплуатации новых самолётов предлагают из казны. Впрочем, там свободных кресел тоже почти не осталось.

RSS: Новости на портале Anti-Malware.ru