Антиспамы впервые протестируют

Антиспамы впервые протестируют

...

Virus Bulletin планирует провести первый тест решений, предназначенных для защиты от спама. Предварительные итоги ожидаются в конце феврале, в начале марта 2009 г. Эксперты и участники рынка ИБ давно говорили о необходимости разработки и проведения тестов для антиспамов.

Но в отличие от антивирусной индустрии, где, кстати сказать, тоже не все так однозначно, выработать единые подходы и методики, устраивающие большинство крайне сложно. И дело здесь не только в качестве самого продукта. Очень многое зависит от набора тестовых сообщений, который отличается от реального потока и во времени, и географически и по другим параметрам. «Впервые разработчикам о новом тесте было объявлено в октябре 2008 г. во время конференции VB2008 в Оттаве, - рассказал CNews Андрей Никишин, директор департамента контентной фильтрации «Лаборатории Касперского». - Тогда же прошел ряд встреч с вендорами, и совместными усилиями была выработана методология.

На наш взгляд, методология тестирования антиспам-решений адекватна. За одним небольшим исключением. В отличие от вирусов, потоки нежелательных сообщений более локальны – скажем, российские пользователи получают больше спама на русском, а китайские – на китайском». Virus Bulletin планирует использовать в качестве источника спама сообщения с международных (COM) почтовых доменов и, разумеется, доля не англоязычных сообщений там будет наибольшей. Что не на 100% будет отражать ситуацию для стран с высокой долей локального спама. «Мы надеемся, что неизбежные небольшие шероховатости первого тестирования будут в дальнейшем отшлифованы, и мы получим хороший индустриальный тест», - говорит Андрей Никишин. В "Доктор Веб" надеются, что со временем VB наберет необходимый опыт в тестировании антиспамов и, может быть, сможет «избежать в нем тех ошибок, которые присутствуют в их антивирусных тестах».

Позицию представителей этого вендора можно понять, они ее не раз озвучивали при критике VB. Практически любой тест антивурусов, это ни в коем случае ни тест решения целиком, а только лишь некоторого его функционала, например, скорости сканирования, качества детектирования или самозащиты. В результате пользователь зачастую вводится в заблуждение относительно возможностей продукта в целом.

Системный инженер Symantec в России и СНГ Кирилл Керценбаум, полагает, что расширение спектра технологий ИБ, которые хочет охватить своим вниманием VB, выглядит вполне закономерно. Однако, своевременность такого шага трудно оценить высоко, так как антиспам-технологии настолько плотно вошли в нашу жизнь, что на результаты подобных тестов мало кто будет обращать большое внимание. Собственно, подобная ситуация уже произошла с тестами антивирусов, которые регулярно и достаточно давно проводит Virus Bulletin.

На Википедии нашли галлюцинации в ИИ-переводах и ввели ограничения

У Википедии снова случился спор про ИИ, на этот раз из-за переводов. Редакторы ввели новые ограничения для части переводчиков, связанных с Open Knowledge Association (OKA), после того как в ряде ИИ-переводов нашли галлюцинации: подменённые источники, неподтверждённые фразы и даже абзацы, опиравшиеся на материалы, не связанные с темой статьи.

Сама OKA — это швейцарская некоммерческая организация, которая платит стипендии переводчикам и прямо пишет на своём сайте, что использует большие языковые модели, чтобы автоматизировать значительную часть работы.

В англоязычном сегменте Википедии у проекта есть отдельная страница, там сказано, что OKA финансирует переводчиков и работает с несколькими языками, включая русский, испанский, французский и немецкий.

Проблему заметили не «в теории», а на конкретных статьях. Один из редакторов, Ильяс Леблё, рассказал 404 Media, что при выборочной проверке быстро нашёл ошибки: где-то источники были перепутаны, где-то появлялись фразы без верификации, а в одном случае в статью про выборы во французский Сенат попали абзацы, вообще не подтверждавшиеся указанными материалами.

Отдельно редакторов смутило, как именно была организована работа. Публичные инструкции OKA для переводчиков на Meta-Wiki подтверждают, что организация обучает новичков и публикует свои рекомендации открыто. В обсуждении вокруг инцидента также всплывали указания использовать популярные LLM для чернового перевода и правки лидов статей; 404 Media пишет, что раньше в инструкциях фигурировал и Grok, хотя позднее акцент сместили на другие модели.

В итоге Википедия не стала запрещать ИИ-переводы целиком, но решила ужесточить подход именно к переводчикам OKA. По правилам, которые цитирует 404 Media, если такой переводчик за шесть месяцев получает четыре корректно вынесенных предупреждения за непроверяемый контент, то при следующем нарушении его могут заблокировать без дополнительных предупреждений. А материалы, добавленные таким участником, могут удалить, если за них не возьмёт ответственность другой редактор с хорошей репутацией.

У самой OKA своя версия истории. Основатель организации Джонатан Циммерманн заявил, что переводчикам платят почасово, а не за количество статей, и что фиксированной нормы публикаций у них нет. По его словам, организация делает ставку на качество, признаёт, что ошибки случаются, и уже усиливает контроль: вводит второй независимый этап проверки через другую LLM, но не как замену человеку, а как дополнительный фильтр перед ручной верификацией.

RSS: Новости на портале Anti-Malware.ru