broker

эвристические признаки спама в различных системах.

В этой теме 14 сообщений

Как известно основная причина СПАМА по e-mail кроется в несовершенности инфраструктуры приёма и передачи e-mail.

Большинство антиспамовых решений начинают изобретать собственные признаки спама.

Например:

письма в формате "цифра" "цифра" "цифра" "цифра" "цифра" @domain.zone

ну скажем (без привязки к решению) на mail.ru считаются спамом.

Не секрет, что тема

Re: Запрос - есть признак спама :)

Все эти признаки безусловно уменьшают кол-во спама, но и вместе с тем затрудняют жизнь простым людям.. Которые заводят ящики в не том формате или в теме пишут, что хотят..

Давайте обсудим, как должно быть составлено письмо

содержимое

FROM:

To:

CC:

BCC:

Replay-TO:

Subject:

Body:

чтобы при оперции FW или Re-send письмо не попало в СПАМ.

Сразу оговорюсь DNS, МX и RBL проверки тут не рассматриваются - только содержание.

надеюсь спамеров у нас тут нет.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Давайте сразу определимся что такое эвристика по отношению к антиспаму. Это такое понятие не тривиальное, каждый вендор его по- свойму понимает.

От части то, что описал выше broker - это формальные признаки спама, возможно какие-то из них учитываеются эвристическим анализтором, но технология, как я себе это представляю там другая.

Письмо анализируется с точки зрения лингвистики. Вообще лингвистика - ключевая наука в построении правльного антиспама. Наряду с заголовком письма анализируется и его текст, если там встречаются часто фразы, особые сочетания слов и их последовательности, присущие спамерским письмам, то письмо можно считать спамом. Тут аналогия с вирусной эвристикой на лицо.

Например, прогрессивная и раскрученная технология Sophos Genotype используется в PureMessage одновременно и для вирусов и для спама.

В технологии Genotype от Sophos используются экспертные методы выявления шаблонов и характеристик, уникальным образом определяющих семейство вирусов или спам-кампанию. Путем анализа этих Genotype -шаблонов, в продуктах Sophos существенно снижается риск поражения новыми, еще не известными вирусами, а успешного проникновения спама в корпоративные ящики пользователей.

Sophos Spam Genotype дает возможность создавать шаблон (набор определений) целой спамерской компании, а не отдельным письмам. Такой шаблон (static genes) описывает специфические особенности конкретной компании, что позволяет в дальнейшем обнаруживать все спамерские сообщения этой компании, не смотря на возможные незначительные изменения (мутации письма), при которых другие методы фильтрации мало эффективны.

По сути Sophos Genotype – это проактивная технология, которая позволяет обнаруживать новые модификации спама еще до выхода соответствующих сигнатур.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Сергей Ильин

Хорошее развитие темы, собственно это я и имел ввиду..

Конечно, если мы полностью опишем алгоритмы мы составим услугу спамерам, но умные спамеры уже давно знакомы с этими технологиями..

а для простых людей помощь.

Предлагаю начать с формальных признаков - это самое насущное :)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Давайте обсудим, как должно быть составлено письмо

содержимое

FROM:

To:

CC:

BCC:

Replay-TO:

Subject:

Вам сюда - http://rfc-editor.org любые иные требования пред`являемые к содержимому служебных полей - нонсенс. О тексте письма уже написано, в самых общих словах, но верно.

Основной вопрос на который нужен ответ прежде чем что либо обсуждать - что есть спам. Вопрос интересен в контексте конкретного человека в соотвествии с его функциональной ролью в компании или его персоной как таковой при расмотрении персональной почты.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
что есть спам.

отвечу может быть и странно, но именно это в настоящее время (в эру жёстких решений) очень важно.

Переформулирую - спамом называю всё то, что определяют как спам Антиспамовые решения.

В данной куче есть доля настоящего спама, а есть доля ложных срабатываний. Иногда случается, что ложное срабатывание происходит именно по причине наличия формальных признаков СПАМА.

Например RFC (по SMTP) не запрещает посылать письмо с пустым TO: при наличии BCC:

Или абракодабру в FROM: при наличии Replay-TO:

И так как таких запретов в RFC нет, то большинсто почтовых клиентов позволяют отсылать "кривые" письма

Согласен с john , понятие СПАМ индивидуально и конечно зависит от личности и исполняемой работы.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вот некоторые типичные формальные признаки спама, которые я знаю:

1. отсутствие адреса отправителя

2. слишком много адресов получателей

3. отсутствие IP-адреса в системе интернет-адресов DNS

4. текст белым по белому (или другое близкое по цвету сочетание)

5. сообщение состоящее из одной картинки

6. такст, набранный слишком мелким шрифтом

7. наличие случайных последовательностей симполов в заголовке и тексте письма

8. смешение английских и русских букв в слове

9. удвоение букв в словах

Вроде как все ... кто знает больше, дополните плиз этот список

Напомню, что речь идет об идентификации одного письма как спам, а не спам-рассылки, там много чего еще добавится.

Добавлено спустя 2 минуты 29 секунд:

Забыл еще важное:

10. наличие ссылки в письме ассциированной ранее со спам рассылкой

11. Специфический для данной локальной зоны язык рассылки (в нашем случае, например, китайский)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
речь идет об идентификации одного письма как спам

верно.

1. отсутствие адреса отправителя

- отсутвие МХ или DNS записи домена в адресе отправителя

- пустое поле FROM:

- KAS : поле FROM: где имя составленное из 4 и более идущих подрят цифр.

- КАS : поле FROM: не в формате RFC.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
3. отсутствие IP-адреса в системе интернет-адресов DNS

Злобная весч. Если рассмотреть подробнее - то фактически такой IP адрес присутствует в любом заголовке.

Листы DUL очень хорошо оперируют с такими адресами и именно наличие такого IP есть железная причина попадания письма в спам.

Под IP понимается адрес по классификации www.iana.org зарезервированный за сетями Интернет ( Internet Protocol v4 Address Space ).

Разбор полётов.

Проверка наличия DNS имём у IP адресов в заголовке, а иногда и проверка наличия МX записи для этих IP может проходить по разному..

Одни проверяют последний IP, что в случае наличия роутеров перед антиспамом сводит данную проверку на нет, другие предлагают более глубокий разбор..

Как определить насколько глубоко надо делать разбор? Ответ: никак! можно в любом случае проверить IP компьютера, с которого ушло письмо не найти DNS или MX и занести его в СПАМ.

Интеллектуального разбора заголовка я не встречал..

Моё видение такого разбора

1. Поиск доверенных IP

2. Поиск в заголовке МХ и DNS

3. RBL запросы по всем IP из заголовка

4. Выделение IP в списках DUL

5. Анализ кол-ва полей Received.

6. Решающие правило.

В настоящее время по признаку DNS, not in DNS можно загреметь в СПАМ 100%

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В настоящее время по признаку DNS, not in DNS можно загреметь в СПАМ 100%

А с другой стороны если письмо идет с компа не через провайдера, то это явный признак спам-рассылки, зомбирования источника (кстати на этом принципе построен сервис Sophos ZombiAlert).

Если ты легитимный пользователь, отправляешь письмо через своего провайдера и все будет ОК. Разве нет?

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А с другой стороны если письмо идет с компа не через провайдера, то это явный признак спам-рассылки, зомбирования источника (кстати на этом принципе построен сервис Sophos ZombiAlert).

Полностью верно.

Если ты легитимный пользователь, отправляешь письмо через своего провайдера и все будет ОК

Полностью верно.

Разве нет?

Не совсем так, любой SMTP (MX) cервер домена domain.ru поддерживает приём писем для domain.ru откуда угодно (с любого IP). Если модель упростить..

Заведите на MAIL.RU аккаунт и по SMTP пошлите со стрима письма на @mail.ru ..

Стрим в DUL листах есть, Ваше письмо свалиться в СПАМ.

У Вашего IP MX записи нет, Ваше письмо свалиться в СПАМ

Ваш IP не доверенный для MAIL.RU

ВАШ IP гарантированно присутвует в каком-то RBL..

Но Ваше письмо дошло :)

Для усложнения задачи, повторите тоже самое из какой - нибудь домовой сети. (где IP не Интернетовский)

И последний тест.

Выберете бесплатный PROXY

Зайдите на MAIL.RU через WEB и пошлите письмо на @mail.ru.

В принципе по Вашей логике ниодно письмо дойти не должно, но они дойдут :), потому что признаки DNS проверок самостоятельно практически не используются.

Если тоже самое провести, например, с hotmail.com .. письма точно не прийдут.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
речь идет об идентификации одного письма как спам

верно.

1. отсутствие адреса отправителя

- отсутвие МХ или DNS записи домена в адресе отправителя

хуже спама - только борцы с ним. ©

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

john

точнее их безграмотность..

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку

я знаю очень много примеров, когда правила настроены именно так :(

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
john

точнее их безграмотность..

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку

я знаю очень много примеров, когда правила настроены именно так :(

это их право - получатели почты именно они. не хотят получать большую часть легальной почты - ради Бога. у postfix есть интересная фича - колбэк прямо во время сессии приема почты для проверки возможности доставить почту отправителю принимаемого письма. на серьезном релее это очень узкое место, но для небольших конторок вполне применимо.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

у postfix много фич есть.. но как было правильно отмечено

для небольших конторок вполне применимо
.

Нашёл интересную фичу:

В случае отличного от FROM поля RETURN-PATH, postfix в качестве FROM рассматривает именно RETURN-PATH, были случаи когда этот же postfix рубил письма из-за того, что этом поле была белеберда

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • AM_Bot
      Часть исходного кода Microsoft Windows 10 на этой неделе просочилась в сеть. Она была замечена на веб-сайте энтузиастов, которые отслеживают выпуски Windows. Microsoft уже подтвердила, что этот исходный код был получен благодаря ее механизму для распространения исходного кода программ Shared Source Initiative. Предположительно, он был доступен для OEM-производителей. Читать далее
    • AM_Bot
      В пятницу Google объявила о том, что собирается прекратить сканирование адресов пользователей Gmail для персонализации рекламных объявлений. Ранее Google просматривала каждое электронное сообщение, полученное пользователем Gmail, что позволяло компании лучше определять, какие релевантные объявления будут отображаться. Исключениями были лишь учетные записи Google Apps for Education и G Suite. Читать далее
    • darkness_kos@meta.ua
      Здравствуйте!   Буду благодарен за помощь, так как не знаю что делать   В общем началось с того, что хотел скачать винрар. Антивируса не было (обычно пользуюсь, но после переустановки винды просто забыл установить). И после распаковки скачанного "винрара" мозила начала жить своей жизнью. Открываются вкладки сами по себе неизвестных сайтов, пытаешься открыть свою- сразу блокируется и открывается левая какая-то страница и т.д.   Скачал антивирус аваст. Проверял он всю ночь мне компьютер (в режиме не запущенного виндовс, ну когда компьютер перезагружаешь и вместо винды запускается проверка системы). Понаходил кучу зараженных файлов, покосил их, но веселье с вкладками в браузере продолжалось. Удалил аваст, установил нортон секюрити. Он опять проверял всю ночь, снова удалил кучу вирусов, веселье с вкладками прекратилось, но все равно раз десять за день какой-то вирус от куда-то вылазил и нортон его удалял. Видимо не до конца всё нашел изначально. И в придачу каждые десять минут происходила блокировка атаки (как я понимаю фишинг атаки) " Web Attack: Suspicion Executable Image Downloader". Не удаляя нортон, установил касперский секюрити скан + касперский вирус ремовал тул (их можно вместе с другим антивирусом утанавливать).
      Снова всю ночь проверялся, удалил 18 вирусов. Вирус уже вроде не вылазит, но фишинг атаки по прежнему каждые десять минут нортон блокирует. По названию этой атаки в гугле - русскоязычных статей что это такое - не нашел. Несколько раз в день пользуюcm программой VPN, так не зависимо запущена она или нет, фишинг атака прилетает по расписанию Плюс несколько раз в день блокирует какую-то фигню под названием: "блокирован несанкционированный доступ (Установить защитный ключ реестра)". В общем, подскажите пожалуйста, что его дальше делать и как от этого избавиться? Диск Д вроде не заражён, если тупо отформатировать диск С (с виндой) и заново установить виндовс- поможет? Вирусы на компьютере были: HEUR:Trojan.WinLNK.StartPage (касперский покосил), и ещё как-то Win32 или как-то так (нортон покосил).  
    • Wenderoy
      Обнаруживает. Попросил сделать тест независимого человека - возможно, он что-то прояснит, если моим исследованиям никто не доверяет.
    • Мутный
      Используется NirCmd ! Также лицензии вы тоже не уважаете ! This program is free software; you can redistribute it and/or modify it
      under the terms of the GNU General Public License as published by the
      Free Software Foundation; either version 2 of the License, or (at your
      option) any later version. This program is distributed in the hope that it will be useful, but
      WITHOUT ANY WARRANTY; without even the implied warranty of
      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
      General Public License for more details. You should have received a copy of the GNU General Public License along
      with this program; if not, write to the Free Software Foundation, Inc.,
      59 Temple Place, Suite 330, Boston, MA 02111-1307 USA Some portions of this program may be licensable under different terms.
      To inquire about alternate licensing, contact Выложил распакованный вариант (ORiEN executable files protection system распаковывается без проблем), удалив мусор, распакованный вариант получился в 5Мб (https://ru-sfera.org/threads/isxodnik-antivirusa-kuranina-ili-kak-sdelat-fejkovuju-programmu.3352/page-3#post-143626). Итак почему-же это вирус: 1. Во первых, используется софт, который может использоваться для взлома, если не автором, то как-раз хакерами. 2. Этот вирус блокирует некоторые программы, вполне легальные, после установки этого чуда даже батник несможите запустить и делается это есстественно путём правок в реестре и не удаляется после деинсталяции. 3. Разумеется нихрена он не обнаруживает, никакие шифровальщики.