эвристические признаки спама в различных системах.

[broker 30]

Как известно основная причина СПАМА по e-mail кроется в несовершенности инфраструктуры приёма и передачи e-mail.

Большинство антиспамовых решений начинают изобретать собственные признаки спама.

Например:

письма в формате "цифра" "цифра" "цифра" "цифра" "цифра" @domain.zone

ну скажем (без привязки к решению) на mail.ru считаются спамом.

Не секрет, что тема

Re: Запрос - есть признак спама

Все эти признаки безусловно уменьшают кол-во спама, но и вместе с тем затрудняют жизнь простым людям.. Которые заводят ящики в не том формате или в теме пишут, что хотят..

Давайте обсудим, как должно быть составлено письмо

содержимое

FROM:

To:

CC:

BCC:

Replay-TO:

Subject:

Body:

чтобы при оперции FW или Re-send письмо не попало в СПАМ.

Сразу оговорюсь DNS, МX и RBL проверки тут не рассматриваются - только содержание.

надеюсь спамеров у нас тут нет.

[Сергей Ильин 1538]

Давайте сразу определимся что такое эвристика по отношению к антиспаму. Это такое понятие не тривиальное, каждый вендор его по- свойму понимает.

От части то, что описал выше broker - это формальные признаки спама, возможно какие-то из них учитываеются эвристическим анализтором, но технология, как я себе это представляю там другая.

Письмо анализируется с точки зрения лингвистики. Вообще лингвистика - ключевая наука в построении правльного антиспама. Наряду с заголовком письма анализируется и его текст, если там встречаются часто фразы, особые сочетания слов и их последовательности, присущие спамерским письмам, то письмо можно считать спамом. Тут аналогия с вирусной эвристикой на лицо.

Например, прогрессивная и раскрученная технология Sophos Genotype используется в PureMessage одновременно и для вирусов и для спама.

В технологии Genotype от Sophos используются экспертные методы выявления шаблонов и характеристик, уникальным образом определяющих семейство вирусов или спам-кампанию. Путем анализа этих Genotype -шаблонов, в продуктах Sophos существенно снижается риск поражения новыми, еще не известными вирусами, а успешного проникновения спама в корпоративные ящики пользователей.

Sophos Spam Genotype дает возможность создавать шаблон (набор определений) целой спамерской компании, а не отдельным письмам. Такой шаблон (static genes) описывает специфические особенности конкретной компании, что позволяет в дальнейшем обнаруживать все спамерские сообщения этой компании, не смотря на возможные незначительные изменения (мутации письма), при которых другие методы фильтрации мало эффективны.

По сути Sophos Genotype – это проактивная технология, которая позволяет обнаруживать новые модификации спама еще до выхода соответствующих сигнатур.

[broker 30]

Сергей Ильин

Хорошее развитие темы, собственно это я и имел ввиду..

Конечно, если мы полностью опишем алгоритмы мы составим услугу спамерам, но умные спамеры уже давно знакомы с этими технологиями..

а для простых людей помощь.

Предлагаю начать с формальных признаков - это самое насущное

[nobody@nowhere 0]

Давайте обсудим, как должно быть составлено письмо

содержимое

FROM:

To:

CC:

BCC:

Replay-TO:

Subject:

Вам сюда - http://rfc-editor.org любые иные требования пред`являемые к содержимому служебных полей - нонсенс. О тексте письма уже написано, в самых общих словах, но верно.

Основной вопрос на который нужен ответ прежде чем что либо обсуждать - что есть спам. Вопрос интересен в контексте конкретного человека в соотвествии с его функциональной ролью в компании или его персоной как таковой при расмотрении персональной почты.

[broker 30]

что есть спам.

отвечу может быть и странно, но именно это в настоящее время (в эру жёстких решений) очень важно.

Переформулирую - спамом называю всё то, что определяют как спам Антиспамовые решения.

В данной куче есть доля настоящего спама, а есть доля ложных срабатываний. Иногда случается, что ложное срабатывание происходит именно по причине наличия формальных признаков СПАМА.

Например RFC (по SMTP) не запрещает посылать письмо с пустым TO: при наличии BCC:

Или абракодабру в FROM: при наличии Replay-TO:

И так как таких запретов в RFC нет, то большинсто почтовых клиентов позволяют отсылать "кривые" письма

Согласен с john , понятие СПАМ индивидуально и конечно зависит от личности и исполняемой работы.

[Сергей Ильин 1538]

Вот некоторые типичные формальные признаки спама, которые я знаю:

1. отсутствие адреса отправителя

2. слишком много адресов получателей

3. отсутствие IP-адреса в системе интернет-адресов DNS

4. текст белым по белому (или другое близкое по цвету сочетание)

5. сообщение состоящее из одной картинки

6. такст, набранный слишком мелким шрифтом

7. наличие случайных последовательностей симполов в заголовке и тексте письма

8. смешение английских и русских букв в слове

9. удвоение букв в словах

Вроде как все ... кто знает больше, дополните плиз этот список

Напомню, что речь идет об идентификации одного письма как спам, а не спам-рассылки, там много чего еще добавится.

Добавлено спустя 2 минуты 29 секунд:

Забыл еще важное:

10. наличие ссылки в письме ассциированной ранее со спам рассылкой

11. Специфический для данной локальной зоны язык рассылки (в нашем случае, например, китайский)

[broker 30]

речь идет об идентификации одного письма как спам

верно.

1. отсутствие адреса отправителя

- отсутвие МХ или DNS записи домена в адресе отправителя

- пустое поле FROM:

- KAS : поле FROM: где имя составленное из 4 и более идущих подрят цифр.

- КАS : поле FROM: не в формате RFC.

[broker 30]

3. отсутствие IP-адреса в системе интернет-адресов DNS

Злобная весч. Если рассмотреть подробнее - то фактически такой IP адрес присутствует в любом заголовке.

Листы DUL очень хорошо оперируют с такими адресами и именно наличие такого IP есть железная причина попадания письма в спам.

Под IP понимается адрес по классификации www.iana.org зарезервированный за сетями Интернет ( Internet Protocol v4 Address Space ).

Разбор полётов.

Проверка наличия DNS имём у IP адресов в заголовке, а иногда и проверка наличия МX записи для этих IP может проходить по разному..

Одни проверяют последний IP, что в случае наличия роутеров перед антиспамом сводит данную проверку на нет, другие предлагают более глубокий разбор..

Как определить насколько глубоко надо делать разбор? Ответ: никак! можно в любом случае проверить IP компьютера, с которого ушло письмо не найти DNS или MX и занести его в СПАМ.

Интеллектуального разбора заголовка я не встречал..

Моё видение такого разбора

1. Поиск доверенных IP

2. Поиск в заголовке МХ и DNS

3. RBL запросы по всем IP из заголовка

4. Выделение IP в списках DUL

5. Анализ кол-ва полей Received.

6. Решающие правило.

В настоящее время по признаку DNS, not in DNS можно загреметь в СПАМ 100%

[Сергей Ильин 1538]

В настоящее время по признаку DNS, not in DNS можно загреметь в СПАМ 100%

А с другой стороны если письмо идет с компа не через провайдера, то это явный признак спам-рассылки, зомбирования источника (кстати на этом принципе построен сервис Sophos ZombiAlert).

Если ты легитимный пользователь, отправляешь письмо через своего провайдера и все будет ОК. Разве нет?

[broker 30]

А с другой стороны если письмо идет с компа не через провайдера, то это явный признак спам-рассылки, зомбирования источника (кстати на этом принципе построен сервис Sophos ZombiAlert).

Полностью верно.

Если ты легитимный пользователь, отправляешь письмо через своего провайдера и все будет ОК

Полностью верно.

Разве нет?

Не совсем так, любой SMTP (MX) cервер домена domain.ru поддерживает приём писем для domain.ru откуда угодно (с любого IP). Если модель упростить..

Заведите на MAIL.RU аккаунт и по SMTP пошлите со стрима письма на @mail.ru ..

Стрим в DUL листах есть, Ваше письмо свалиться в СПАМ.

У Вашего IP MX записи нет, Ваше письмо свалиться в СПАМ

Ваш IP не доверенный для MAIL.RU

ВАШ IP гарантированно присутвует в каком-то RBL..

Но Ваше письмо дошло

Для усложнения задачи, повторите тоже самое из какой - нибудь домовой сети. (где IP не Интернетовский)

И последний тест.

Выберете бесплатный PROXY

Зайдите на MAIL.RU через WEB и пошлите письмо на @mail.ru.

В принципе по Вашей логике ниодно письмо дойти не должно, но они дойдут , потому что признаки DNS проверок самостоятельно практически не используются.

Если тоже самое провести, например, с hotmail.com .. письма точно не прийдут.

[nobody@nowhere 0]

речь идет об идентификации одного письма как спам

верно.

1. отсутствие адреса отправителя

- отсутвие МХ или DNS записи домена в адресе отправителя

хуже спама - только борцы с ним. ©

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку.

[broker 30]

john

точнее их безграмотность..

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку

я знаю очень много примеров, когда правила настроены именно так

[nobody@nowhere 0]

john

точнее их безграмотность..

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку

я знаю очень много примеров, когда правила настроены именно так

это их право - получатели почты именно они. не хотят получать большую часть легальной почты - ради Бога. у postfix есть интересная фича - колбэк прямо во время сессии приема почты для проверки возможности доставить почту отправителю принимаемого письма. на серьезном релее это очень узкое место, но для небольших конторок вполне применимо.

[broker 30]

у postfix много фич есть.. но как было правильно отмечено

для небольших конторок вполне применимо

.

Нашёл интересную фичу:

В случае отличного от FROM поля RETURN-PATH, postfix в качестве FROM рассматривает именно RETURN-PATH, были случаи когда этот же postfix рубил письма из-за того, что этом поле была белеберда