ФСТЭК РФ советует госорганам закрыть двери для зарубежных ИИ-ботов

ФСТЭК РФ советует госорганам закрыть двери для зарубежных ИИ-ботов

ФСТЭК РФ советует госорганам закрыть двери для зарубежных ИИ-ботов

ФСТЭК России разослала в органы исполнительной власти письма, рекомендуя добавить в robots.txt запрет на доступ к госсайтам поисковых ботов иностранного производства (вроде GPTBot от OpenAI). Подобная мера призвана ограничить сбор данных об уязвимостях веб-ресурсов.

С одним из таких писем, от 20 августа, ознакомился «Ъ». В нем, со слов издания, приведено следующее обоснование: подобные боты «собирают информацию о существующих уязвимостях информационных ресурсов органов государственной власти РФ и о персональных данных, чтобы использовать их в зарубежных моделях машинного обучения».

Примечательно, что сама федеральная служба пока не последовала своему совету. Проведенная репортерами проверка (2 сентября) запрета на доступ GPTBot к сайту ФСТЭК не обнаружила.

С вводом подобных ограничений медлят также Минцифры, Минздрав, МЧС. В robots.txt сайтов Минюста и ФСБ такая директива присутствует, притом она вообще запрещает индексирование автоматизированными средствами.

Опрошенные «Ъ» эксперты признали существование ботов, специально собирающих данные о слабостях доступных из интернета ресурсов — таких как устаревшие плагины, ошибки конфигурации, отсутствие защиты, позволяющее внедрить на сайт вредоносный код. Сканирование при этом может проводиться как с благими намерениями, так и со злым умыслом.

Риски использования ИИ-ботов для проведения атак, по мнению специалистов, пока невелики, однако в «Лаборатории Касперского» не исключают изменения ситуации в недалеком будущем.

«Данная сфера развивается очень динамично, что требует постоянной оценки возникающих угроз, — заявил журналистам Владислав Тушканов, руководитель группы исследований и разработки технологий машинного обучения в Kaspersky. — Существуют специализированные системы для поиска разнообразных внутренних сервисов, таких как подключенные к интернету камеры. И сокрытие таких сервисов от поисковых ботов не сможет полностью решить саму проблему».

Минувшей весной похожие рекомендации по борьбе с автоматизированным сбором информации из-за рубежа рассылались хостинг-провайдерам с подачи Роскомнадзора. При этом в письмах упоминалась не только OpenAI, но также Google и Apple.

На Википедии нашли галлюцинации в ИИ-переводах и ввели ограничения

У Википедии снова случился спор про ИИ, на этот раз из-за переводов. Редакторы ввели новые ограничения для части переводчиков, связанных с Open Knowledge Association (OKA), после того как в ряде ИИ-переводов нашли галлюцинации: подменённые источники, неподтверждённые фразы и даже абзацы, опиравшиеся на материалы, не связанные с темой статьи.

Сама OKA — это швейцарская некоммерческая организация, которая платит стипендии переводчикам и прямо пишет на своём сайте, что использует большие языковые модели, чтобы автоматизировать значительную часть работы.

В англоязычном сегменте Википедии у проекта есть отдельная страница, там сказано, что OKA финансирует переводчиков и работает с несколькими языками, включая русский, испанский, французский и немецкий.

Проблему заметили не «в теории», а на конкретных статьях. Один из редакторов, Ильяс Леблё, рассказал 404 Media, что при выборочной проверке быстро нашёл ошибки: где-то источники были перепутаны, где-то появлялись фразы без верификации, а в одном случае в статью про выборы во французский Сенат попали абзацы, вообще не подтверждавшиеся указанными материалами.

Отдельно редакторов смутило, как именно была организована работа. Публичные инструкции OKA для переводчиков на Meta-Wiki подтверждают, что организация обучает новичков и публикует свои рекомендации открыто. В обсуждении вокруг инцидента также всплывали указания использовать популярные LLM для чернового перевода и правки лидов статей; 404 Media пишет, что раньше в инструкциях фигурировал и Grok, хотя позднее акцент сместили на другие модели.

В итоге Википедия не стала запрещать ИИ-переводы целиком, но решила ужесточить подход именно к переводчикам OKA. По правилам, которые цитирует 404 Media, если такой переводчик за шесть месяцев получает четыре корректно вынесенных предупреждения за непроверяемый контент, то при следующем нарушении его могут заблокировать без дополнительных предупреждений. А материалы, добавленные таким участником, могут удалить, если за них не возьмёт ответственность другой редактор с хорошей репутацией.

У самой OKA своя версия истории. Основатель организации Джонатан Циммерманн заявил, что переводчикам платят почасово, а не за количество статей, и что фиксированной нормы публикаций у них нет. По его словам, организация делает ставку на качество, признаёт, что ошибки случаются, и уже усиливает контроль: вводит второй независимый этап проверки через другую LLM, но не как замену человеку, а как дополнительный фильтр перед ручной верификацией.

RSS: Новости на портале Anti-Malware.ru