эвристические признаки спама в различных системах. - Выбор корпоративных средств защиты - Форумы Anti-Malware.ru Перейти к содержанию
broker

эвристические признаки спама в различных системах.

Recommended Posts

broker

Как известно основная причина СПАМА по e-mail кроется в несовершенности инфраструктуры приёма и передачи e-mail.

Большинство антиспамовых решений начинают изобретать собственные признаки спама.

Например:

письма в формате "цифра" "цифра" "цифра" "цифра" "цифра" @domain.zone

ну скажем (без привязки к решению) на mail.ru считаются спамом.

Не секрет, что тема

Re: Запрос - есть признак спама :)

Все эти признаки безусловно уменьшают кол-во спама, но и вместе с тем затрудняют жизнь простым людям.. Которые заводят ящики в не том формате или в теме пишут, что хотят..

Давайте обсудим, как должно быть составлено письмо

содержимое

FROM:

To:

CC:

BCC:

Replay-TO:

Subject:

Body:

чтобы при оперции FW или Re-send письмо не попало в СПАМ.

Сразу оговорюсь DNS, МX и RBL проверки тут не рассматриваются - только содержание.

надеюсь спамеров у нас тут нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Давайте сразу определимся что такое эвристика по отношению к антиспаму. Это такое понятие не тривиальное, каждый вендор его по- свойму понимает.

От части то, что описал выше broker - это формальные признаки спама, возможно какие-то из них учитываеются эвристическим анализтором, но технология, как я себе это представляю там другая.

Письмо анализируется с точки зрения лингвистики. Вообще лингвистика - ключевая наука в построении правльного антиспама. Наряду с заголовком письма анализируется и его текст, если там встречаются часто фразы, особые сочетания слов и их последовательности, присущие спамерским письмам, то письмо можно считать спамом. Тут аналогия с вирусной эвристикой на лицо.

Например, прогрессивная и раскрученная технология Sophos Genotype используется в PureMessage одновременно и для вирусов и для спама.

В технологии Genotype от Sophos используются экспертные методы выявления шаблонов и характеристик, уникальным образом определяющих семейство вирусов или спам-кампанию. Путем анализа этих Genotype -шаблонов, в продуктах Sophos существенно снижается риск поражения новыми, еще не известными вирусами, а успешного проникновения спама в корпоративные ящики пользователей.

Sophos Spam Genotype дает возможность создавать шаблон (набор определений) целой спамерской компании, а не отдельным письмам. Такой шаблон (static genes) описывает специфические особенности конкретной компании, что позволяет в дальнейшем обнаруживать все спамерские сообщения этой компании, не смотря на возможные незначительные изменения (мутации письма), при которых другие методы фильтрации мало эффективны.

По сути Sophos Genotype – это проактивная технология, которая позволяет обнаруживать новые модификации спама еще до выхода соответствующих сигнатур.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

Сергей Ильин

Хорошее развитие темы, собственно это я и имел ввиду..

Конечно, если мы полностью опишем алгоритмы мы составим услугу спамерам, но умные спамеры уже давно знакомы с этими технологиями..

а для простых людей помощь.

Предлагаю начать с формальных признаков - это самое насущное :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
nobody@nowhere
Давайте обсудим, как должно быть составлено письмо

содержимое

FROM:

To:

CC:

BCC:

Replay-TO:

Subject:

Вам сюда - http://rfc-editor.org любые иные требования пред`являемые к содержимому служебных полей - нонсенс. О тексте письма уже написано, в самых общих словах, но верно.

Основной вопрос на который нужен ответ прежде чем что либо обсуждать - что есть спам. Вопрос интересен в контексте конкретного человека в соотвествии с его функциональной ролью в компании или его персоной как таковой при расмотрении персональной почты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker
что есть спам.

отвечу может быть и странно, но именно это в настоящее время (в эру жёстких решений) очень важно.

Переформулирую - спамом называю всё то, что определяют как спам Антиспамовые решения.

В данной куче есть доля настоящего спама, а есть доля ложных срабатываний. Иногда случается, что ложное срабатывание происходит именно по причине наличия формальных признаков СПАМА.

Например RFC (по SMTP) не запрещает посылать письмо с пустым TO: при наличии BCC:

Или абракодабру в FROM: при наличии Replay-TO:

И так как таких запретов в RFC нет, то большинсто почтовых клиентов позволяют отсылать "кривые" письма

Согласен с john , понятие СПАМ индивидуально и конечно зависит от личности и исполняемой работы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Вот некоторые типичные формальные признаки спама, которые я знаю:

1. отсутствие адреса отправителя

2. слишком много адресов получателей

3. отсутствие IP-адреса в системе интернет-адресов DNS

4. текст белым по белому (или другое близкое по цвету сочетание)

5. сообщение состоящее из одной картинки

6. такст, набранный слишком мелким шрифтом

7. наличие случайных последовательностей симполов в заголовке и тексте письма

8. смешение английских и русских букв в слове

9. удвоение букв в словах

Вроде как все ... кто знает больше, дополните плиз этот список

Напомню, что речь идет об идентификации одного письма как спам, а не спам-рассылки, там много чего еще добавится.

Добавлено спустя 2 минуты 29 секунд:

Забыл еще важное:

10. наличие ссылки в письме ассциированной ранее со спам рассылкой

11. Специфический для данной локальной зоны язык рассылки (в нашем случае, например, китайский)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker
речь идет об идентификации одного письма как спам

верно.

1. отсутствие адреса отправителя

- отсутвие МХ или DNS записи домена в адресе отправителя

- пустое поле FROM:

- KAS : поле FROM: где имя составленное из 4 и более идущих подрят цифр.

- КАS : поле FROM: не в формате RFC.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker
3. отсутствие IP-адреса в системе интернет-адресов DNS

Злобная весч. Если рассмотреть подробнее - то фактически такой IP адрес присутствует в любом заголовке.

Листы DUL очень хорошо оперируют с такими адресами и именно наличие такого IP есть железная причина попадания письма в спам.

Под IP понимается адрес по классификации www.iana.org зарезервированный за сетями Интернет ( Internet Protocol v4 Address Space ).

Разбор полётов.

Проверка наличия DNS имём у IP адресов в заголовке, а иногда и проверка наличия МX записи для этих IP может проходить по разному..

Одни проверяют последний IP, что в случае наличия роутеров перед антиспамом сводит данную проверку на нет, другие предлагают более глубокий разбор..

Как определить насколько глубоко надо делать разбор? Ответ: никак! можно в любом случае проверить IP компьютера, с которого ушло письмо не найти DNS или MX и занести его в СПАМ.

Интеллектуального разбора заголовка я не встречал..

Моё видение такого разбора

1. Поиск доверенных IP

2. Поиск в заголовке МХ и DNS

3. RBL запросы по всем IP из заголовка

4. Выделение IP в списках DUL

5. Анализ кол-ва полей Received.

6. Решающие правило.

В настоящее время по признаку DNS, not in DNS можно загреметь в СПАМ 100%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
В настоящее время по признаку DNS, not in DNS можно загреметь в СПАМ 100%

А с другой стороны если письмо идет с компа не через провайдера, то это явный признак спам-рассылки, зомбирования источника (кстати на этом принципе построен сервис Sophos ZombiAlert).

Если ты легитимный пользователь, отправляешь письмо через своего провайдера и все будет ОК. Разве нет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker
А с другой стороны если письмо идет с компа не через провайдера, то это явный признак спам-рассылки, зомбирования источника (кстати на этом принципе построен сервис Sophos ZombiAlert).

Полностью верно.

Если ты легитимный пользователь, отправляешь письмо через своего провайдера и все будет ОК

Полностью верно.

Разве нет?

Не совсем так, любой SMTP (MX) cервер домена domain.ru поддерживает приём писем для domain.ru откуда угодно (с любого IP). Если модель упростить..

Заведите на MAIL.RU аккаунт и по SMTP пошлите со стрима письма на @mail.ru ..

Стрим в DUL листах есть, Ваше письмо свалиться в СПАМ.

У Вашего IP MX записи нет, Ваше письмо свалиться в СПАМ

Ваш IP не доверенный для MAIL.RU

ВАШ IP гарантированно присутвует в каком-то RBL..

Но Ваше письмо дошло :)

Для усложнения задачи, повторите тоже самое из какой - нибудь домовой сети. (где IP не Интернетовский)

И последний тест.

Выберете бесплатный PROXY

Зайдите на MAIL.RU через WEB и пошлите письмо на @mail.ru.

В принципе по Вашей логике ниодно письмо дойти не должно, но они дойдут :), потому что признаки DNS проверок самостоятельно практически не используются.

Если тоже самое провести, например, с hotmail.com .. письма точно не прийдут.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
nobody@nowhere
речь идет об идентификации одного письма как спам

верно.

1. отсутствие адреса отправителя

- отсутвие МХ или DNS записи домена в адресе отправителя

хуже спама - только борцы с ним. ©

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

john

точнее их безграмотность..

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку

я знаю очень много примеров, когда правила настроены именно так :(

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
nobody@nowhere
john

точнее их безграмотность..

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку

я знаю очень много примеров, когда правила настроены именно так :(

это их право - получатели почты именно они. не хотят получать большую часть легальной почты - ради Бога. у postfix есть интересная фича - колбэк прямо во время сессии приема почты для проверки возможности доставить почту отправителю принимаемого письма. на серьезном релее это очень узкое место, но для небольших конторок вполне применимо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

у postfix много фич есть.. но как было правильно отмечено

для небольших конторок вполне применимо
.

Нашёл интересную фичу:

В случае отличного от FROM поля RETURN-PATH, postfix в качестве FROM рассматривает именно RETURN-PATH, были случаи когда этот же postfix рубил письма из-за того, что этом поле была белеберда

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • santy
      Например: форумы Anti-Malware, официальный и неофициальный технические форумы Касперского разработаны при поддержке Powered by Invision Community Invision Community (ранее IPS Community Suite, Invision Power Board, сокращенно IPS, IP.Suite или IP.Board) — коммерческое программное обеспечение для организации веб-форумов, разрабатываемое американской компанией Invision Power Services Inc ----------- Получается 1С-Битрикс наше все.
    • PR55.RP55
      КОТ ( Комитет Охраны Тепла ) Африка
      Неизбежность войны, предвкушаю крах
      Если я говорю, значит, он прав
      Армагеддон — это больше, чем страх
      Это любовь, это слёзы и кровь
      Твоих сыновей
      Африка!

      [Бридж]
      Твои волосы — как прутья
      Твои мысли — белый мел
      Я однажды не проснулся
      Оттого что я висел

      [Предприпев]
      Африка!
      На твоих руках
      Твоё солнце в моих глазах
      Африка!

      [Припев]
      Чёрное на белом
      Кто-то был неправ
      Я внеплановый сын африканских трав
      Я танцую регги на грязном снегу
      Моя тень на твоём берегу
      Африка!
    • santy
      Я думаю, разработчики закона сами еще не знают как трактовать то, что они сделали. например это: Если владелец сайта является гражданином РФ или российским юридическим лицом является ли система российской, владельцем которой он считается, если сам сайт построен на зарубежном движке?
    • PR55.RP55
      " Запрет на использование иностранных сервисов авторизации (Google, Apple) на российских сайтах, введенный законами № 406-ФЗ и № 670-ФЗ, направлен на локализацию персональных данных и борьбу с утечками, требуя перехода на российские ID-системы, такие как ya.ru или mail.ru [1]. Старые аккаунты, созданные через иностранные сервисы, не удаляются, однако владельцы сайтов обязаны перевести пользователей на легитимные методы входа, включая российскую почту, телефон или Госуслуги, чтобы избежать ответственности за текущие авторизации [1]. " " Владельцы сайтов будут обязаны проводить авторизацию пользователей (например, при регистрации или входе в личный кабинет) с использованием только российских систем. К ним относятся: номер российского телефона; портал "Госуслуги"; единая биометрическая система; иные системы, владельцами которых являются граждане РФ или российские юридические лица." ya.ru или mail.ru - в теории ( и на практике ) граждане р.ф. Сама почта требует авторизации - через номер телефона. т.е. зарегистрированный пользователь уже прошёл авторизацию.  ---------- Оценка выше написанного в ИИ. :) Давайте разберем, почему ваши тезисы и выводы полностью корректны.
      1. Соответствие критериям закона
      Вы абсолютно правы: сервисы *Яндекс (ya.ru)* и *VK (VK ID / Mail.ru)* на
      100% подпадают под четвертый пункт статьи 10.2-1 закона «Об информации»:   * Их владельцами являются *российские юридические лица*.
        * Доля иностранного владения в них приведена в полное соответствие с
          законодательством РФ (контролирующие структуры находятся в
          российской юрисдикции). 2. Цепочка авторизации (наследование доверия)
      Ваша мысль о том, что /«почта требует авторизации через телефон, а
      значит, пользователь уже авторизован»/, юридически называется
      *делегированием авторизации*.   * Закон обязывает владельца форума использовать /российскую систему/
          для входа.
        * Яндекс ID или VK ID — это и есть авторизационные информационные системы.
        * То, что эти ИС внутри себя уже проверили пользователя (по номеру
          телефона, привязке к Госуслугам или через подтвержденный профиль), —
          это их зона ответственности. Для вашего форума главное, что сама
          «входная дверь» (Яндекс/VK) является российской. 3. Обязанности владельца сайта
      Приведенная вами цитата точно описывает текущее положение дел:   * *Закон не требует удалять профили* людей, вошедших когда-то через
          Google.
        * *Закон запрещает процесс* предоставления авторизации через
          иностранцев /сейчас/.
        * Чтобы не получить штраф (вступивший в силу по законопроекту №
          1110676-8), владелец сайта должен закрыть техническую возможность
          кликнуть на «Вход через Google/Apple» и предложить пользователю
          привязать к старому аккаунту российский аналог (почту, телефон или
          Яндекс/VK ID). ------- Но лучше всё это ещё уточнить.    
    • santy
      Актуально, по лучше перенести обсуждение в офтопик.
        выходит что, авторизация через логин и пароль будет считаться неразрешенной, со всеми вытекающими последствиями? или ее можно будет отнести к последнему пункту ("авторизации с помощью российских сервисов авторизации"), если проверка логина и пароля не выходит за пределы сайта?
×