Перейти к содержанию
broker

эвристические признаки спама в различных системах.

Recommended Posts

broker

Как известно основная причина СПАМА по e-mail кроется в несовершенности инфраструктуры приёма и передачи e-mail.

Большинство антиспамовых решений начинают изобретать собственные признаки спама.

Например:

письма в формате "цифра" "цифра" "цифра" "цифра" "цифра" @domain.zone

ну скажем (без привязки к решению) на mail.ru считаются спамом.

Не секрет, что тема

Re: Запрос - есть признак спама :)

Все эти признаки безусловно уменьшают кол-во спама, но и вместе с тем затрудняют жизнь простым людям.. Которые заводят ящики в не том формате или в теме пишут, что хотят..

Давайте обсудим, как должно быть составлено письмо

содержимое

FROM:

To:

CC:

BCC:

Replay-TO:

Subject:

Body:

чтобы при оперции FW или Re-send письмо не попало в СПАМ.

Сразу оговорюсь DNS, МX и RBL проверки тут не рассматриваются - только содержание.

надеюсь спамеров у нас тут нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Давайте сразу определимся что такое эвристика по отношению к антиспаму. Это такое понятие не тривиальное, каждый вендор его по- свойму понимает.

От части то, что описал выше broker - это формальные признаки спама, возможно какие-то из них учитываеются эвристическим анализтором, но технология, как я себе это представляю там другая.

Письмо анализируется с точки зрения лингвистики. Вообще лингвистика - ключевая наука в построении правльного антиспама. Наряду с заголовком письма анализируется и его текст, если там встречаются часто фразы, особые сочетания слов и их последовательности, присущие спамерским письмам, то письмо можно считать спамом. Тут аналогия с вирусной эвристикой на лицо.

Например, прогрессивная и раскрученная технология Sophos Genotype используется в PureMessage одновременно и для вирусов и для спама.

В технологии Genotype от Sophos используются экспертные методы выявления шаблонов и характеристик, уникальным образом определяющих семейство вирусов или спам-кампанию. Путем анализа этих Genotype -шаблонов, в продуктах Sophos существенно снижается риск поражения новыми, еще не известными вирусами, а успешного проникновения спама в корпоративные ящики пользователей.

Sophos Spam Genotype дает возможность создавать шаблон (набор определений) целой спамерской компании, а не отдельным письмам. Такой шаблон (static genes) описывает специфические особенности конкретной компании, что позволяет в дальнейшем обнаруживать все спамерские сообщения этой компании, не смотря на возможные незначительные изменения (мутации письма), при которых другие методы фильтрации мало эффективны.

По сути Sophos Genotype – это проактивная технология, которая позволяет обнаруживать новые модификации спама еще до выхода соответствующих сигнатур.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

Сергей Ильин

Хорошее развитие темы, собственно это я и имел ввиду..

Конечно, если мы полностью опишем алгоритмы мы составим услугу спамерам, но умные спамеры уже давно знакомы с этими технологиями..

а для простых людей помощь.

Предлагаю начать с формальных признаков - это самое насущное :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
nobody@nowhere
Давайте обсудим, как должно быть составлено письмо

содержимое

FROM:

To:

CC:

BCC:

Replay-TO:

Subject:

Вам сюда - http://rfc-editor.org любые иные требования пред`являемые к содержимому служебных полей - нонсенс. О тексте письма уже написано, в самых общих словах, но верно.

Основной вопрос на который нужен ответ прежде чем что либо обсуждать - что есть спам. Вопрос интересен в контексте конкретного человека в соотвествии с его функциональной ролью в компании или его персоной как таковой при расмотрении персональной почты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker
что есть спам.

отвечу может быть и странно, но именно это в настоящее время (в эру жёстких решений) очень важно.

Переформулирую - спамом называю всё то, что определяют как спам Антиспамовые решения.

В данной куче есть доля настоящего спама, а есть доля ложных срабатываний. Иногда случается, что ложное срабатывание происходит именно по причине наличия формальных признаков СПАМА.

Например RFC (по SMTP) не запрещает посылать письмо с пустым TO: при наличии BCC:

Или абракодабру в FROM: при наличии Replay-TO:

И так как таких запретов в RFC нет, то большинсто почтовых клиентов позволяют отсылать "кривые" письма

Согласен с john , понятие СПАМ индивидуально и конечно зависит от личности и исполняемой работы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Вот некоторые типичные формальные признаки спама, которые я знаю:

1. отсутствие адреса отправителя

2. слишком много адресов получателей

3. отсутствие IP-адреса в системе интернет-адресов DNS

4. текст белым по белому (или другое близкое по цвету сочетание)

5. сообщение состоящее из одной картинки

6. такст, набранный слишком мелким шрифтом

7. наличие случайных последовательностей симполов в заголовке и тексте письма

8. смешение английских и русских букв в слове

9. удвоение букв в словах

Вроде как все ... кто знает больше, дополните плиз этот список

Напомню, что речь идет об идентификации одного письма как спам, а не спам-рассылки, там много чего еще добавится.

Добавлено спустя 2 минуты 29 секунд:

Забыл еще важное:

10. наличие ссылки в письме ассциированной ранее со спам рассылкой

11. Специфический для данной локальной зоны язык рассылки (в нашем случае, например, китайский)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker
речь идет об идентификации одного письма как спам

верно.

1. отсутствие адреса отправителя

- отсутвие МХ или DNS записи домена в адресе отправителя

- пустое поле FROM:

- KAS : поле FROM: где имя составленное из 4 и более идущих подрят цифр.

- КАS : поле FROM: не в формате RFC.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker
3. отсутствие IP-адреса в системе интернет-адресов DNS

Злобная весч. Если рассмотреть подробнее - то фактически такой IP адрес присутствует в любом заголовке.

Листы DUL очень хорошо оперируют с такими адресами и именно наличие такого IP есть железная причина попадания письма в спам.

Под IP понимается адрес по классификации www.iana.org зарезервированный за сетями Интернет ( Internet Protocol v4 Address Space ).

Разбор полётов.

Проверка наличия DNS имём у IP адресов в заголовке, а иногда и проверка наличия МX записи для этих IP может проходить по разному..

Одни проверяют последний IP, что в случае наличия роутеров перед антиспамом сводит данную проверку на нет, другие предлагают более глубокий разбор..

Как определить насколько глубоко надо делать разбор? Ответ: никак! можно в любом случае проверить IP компьютера, с которого ушло письмо не найти DNS или MX и занести его в СПАМ.

Интеллектуального разбора заголовка я не встречал..

Моё видение такого разбора

1. Поиск доверенных IP

2. Поиск в заголовке МХ и DNS

3. RBL запросы по всем IP из заголовка

4. Выделение IP в списках DUL

5. Анализ кол-ва полей Received.

6. Решающие правило.

В настоящее время по признаку DNS, not in DNS можно загреметь в СПАМ 100%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
В настоящее время по признаку DNS, not in DNS можно загреметь в СПАМ 100%

А с другой стороны если письмо идет с компа не через провайдера, то это явный признак спам-рассылки, зомбирования источника (кстати на этом принципе построен сервис Sophos ZombiAlert).

Если ты легитимный пользователь, отправляешь письмо через своего провайдера и все будет ОК. Разве нет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker
А с другой стороны если письмо идет с компа не через провайдера, то это явный признак спам-рассылки, зомбирования источника (кстати на этом принципе построен сервис Sophos ZombiAlert).

Полностью верно.

Если ты легитимный пользователь, отправляешь письмо через своего провайдера и все будет ОК

Полностью верно.

Разве нет?

Не совсем так, любой SMTP (MX) cервер домена domain.ru поддерживает приём писем для domain.ru откуда угодно (с любого IP). Если модель упростить..

Заведите на MAIL.RU аккаунт и по SMTP пошлите со стрима письма на @mail.ru ..

Стрим в DUL листах есть, Ваше письмо свалиться в СПАМ.

У Вашего IP MX записи нет, Ваше письмо свалиться в СПАМ

Ваш IP не доверенный для MAIL.RU

ВАШ IP гарантированно присутвует в каком-то RBL..

Но Ваше письмо дошло :)

Для усложнения задачи, повторите тоже самое из какой - нибудь домовой сети. (где IP не Интернетовский)

И последний тест.

Выберете бесплатный PROXY

Зайдите на MAIL.RU через WEB и пошлите письмо на @mail.ru.

В принципе по Вашей логике ниодно письмо дойти не должно, но они дойдут :), потому что признаки DNS проверок самостоятельно практически не используются.

Если тоже самое провести, например, с hotmail.com .. письма точно не прийдут.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
nobody@nowhere
речь идет об идентификации одного письма как спам

верно.

1. отсутствие адреса отправителя

- отсутвие МХ или DNS записи домена в адресе отправителя

хуже спама - только борцы с ним. ©

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

john

точнее их безграмотность..

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку

я знаю очень много примеров, когда правила настроены именно так :(

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
nobody@nowhere
john

точнее их безграмотность..

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку

я знаю очень много примеров, когда правила настроены именно так :(

это их право - получатели почты именно они. не хотят получать большую часть легальной почты - ради Бога. у postfix есть интересная фича - колбэк прямо во время сессии приема почты для проверки возможности доставить почту отправителю принимаемого письма. на серьезном релее это очень узкое место, но для небольших конторок вполне применимо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

у postfix много фич есть.. но как было правильно отмечено

для небольших конторок вполне применимо
.

Нашёл интересную фичу:

В случае отличного от FROM поля RETURN-PATH, postfix в качестве FROM рассматривает именно RETURN-PATH, были случаи когда этот же postfix рубил письма из-за того, что этом поле была белеберда

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×