Перейти к содержанию
broker

эвристические признаки спама в различных системах.

Recommended Posts

broker

Как известно основная причина СПАМА по e-mail кроется в несовершенности инфраструктуры приёма и передачи e-mail.

Большинство антиспамовых решений начинают изобретать собственные признаки спама.

Например:

письма в формате "цифра" "цифра" "цифра" "цифра" "цифра" @domain.zone

ну скажем (без привязки к решению) на mail.ru считаются спамом.

Не секрет, что тема

Re: Запрос - есть признак спама :)

Все эти признаки безусловно уменьшают кол-во спама, но и вместе с тем затрудняют жизнь простым людям.. Которые заводят ящики в не том формате или в теме пишут, что хотят..

Давайте обсудим, как должно быть составлено письмо

содержимое

FROM:

To:

CC:

BCC:

Replay-TO:

Subject:

Body:

чтобы при оперции FW или Re-send письмо не попало в СПАМ.

Сразу оговорюсь DNS, МX и RBL проверки тут не рассматриваются - только содержание.

надеюсь спамеров у нас тут нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Давайте сразу определимся что такое эвристика по отношению к антиспаму. Это такое понятие не тривиальное, каждый вендор его по- свойму понимает.

От части то, что описал выше broker - это формальные признаки спама, возможно какие-то из них учитываеются эвристическим анализтором, но технология, как я себе это представляю там другая.

Письмо анализируется с точки зрения лингвистики. Вообще лингвистика - ключевая наука в построении правльного антиспама. Наряду с заголовком письма анализируется и его текст, если там встречаются часто фразы, особые сочетания слов и их последовательности, присущие спамерским письмам, то письмо можно считать спамом. Тут аналогия с вирусной эвристикой на лицо.

Например, прогрессивная и раскрученная технология Sophos Genotype используется в PureMessage одновременно и для вирусов и для спама.

В технологии Genotype от Sophos используются экспертные методы выявления шаблонов и характеристик, уникальным образом определяющих семейство вирусов или спам-кампанию. Путем анализа этих Genotype -шаблонов, в продуктах Sophos существенно снижается риск поражения новыми, еще не известными вирусами, а успешного проникновения спама в корпоративные ящики пользователей.

Sophos Spam Genotype дает возможность создавать шаблон (набор определений) целой спамерской компании, а не отдельным письмам. Такой шаблон (static genes) описывает специфические особенности конкретной компании, что позволяет в дальнейшем обнаруживать все спамерские сообщения этой компании, не смотря на возможные незначительные изменения (мутации письма), при которых другие методы фильтрации мало эффективны.

По сути Sophos Genotype – это проактивная технология, которая позволяет обнаруживать новые модификации спама еще до выхода соответствующих сигнатур.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

Сергей Ильин

Хорошее развитие темы, собственно это я и имел ввиду..

Конечно, если мы полностью опишем алгоритмы мы составим услугу спамерам, но умные спамеры уже давно знакомы с этими технологиями..

а для простых людей помощь.

Предлагаю начать с формальных признаков - это самое насущное :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
nobody@nowhere
Давайте обсудим, как должно быть составлено письмо

содержимое

FROM:

To:

CC:

BCC:

Replay-TO:

Subject:

Вам сюда - http://rfc-editor.org любые иные требования пред`являемые к содержимому служебных полей - нонсенс. О тексте письма уже написано, в самых общих словах, но верно.

Основной вопрос на который нужен ответ прежде чем что либо обсуждать - что есть спам. Вопрос интересен в контексте конкретного человека в соотвествии с его функциональной ролью в компании или его персоной как таковой при расмотрении персональной почты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker
что есть спам.

отвечу может быть и странно, но именно это в настоящее время (в эру жёстких решений) очень важно.

Переформулирую - спамом называю всё то, что определяют как спам Антиспамовые решения.

В данной куче есть доля настоящего спама, а есть доля ложных срабатываний. Иногда случается, что ложное срабатывание происходит именно по причине наличия формальных признаков СПАМА.

Например RFC (по SMTP) не запрещает посылать письмо с пустым TO: при наличии BCC:

Или абракодабру в FROM: при наличии Replay-TO:

И так как таких запретов в RFC нет, то большинсто почтовых клиентов позволяют отсылать "кривые" письма

Согласен с john , понятие СПАМ индивидуально и конечно зависит от личности и исполняемой работы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Вот некоторые типичные формальные признаки спама, которые я знаю:

1. отсутствие адреса отправителя

2. слишком много адресов получателей

3. отсутствие IP-адреса в системе интернет-адресов DNS

4. текст белым по белому (или другое близкое по цвету сочетание)

5. сообщение состоящее из одной картинки

6. такст, набранный слишком мелким шрифтом

7. наличие случайных последовательностей симполов в заголовке и тексте письма

8. смешение английских и русских букв в слове

9. удвоение букв в словах

Вроде как все ... кто знает больше, дополните плиз этот список

Напомню, что речь идет об идентификации одного письма как спам, а не спам-рассылки, там много чего еще добавится.

Добавлено спустя 2 минуты 29 секунд:

Забыл еще важное:

10. наличие ссылки в письме ассциированной ранее со спам рассылкой

11. Специфический для данной локальной зоны язык рассылки (в нашем случае, например, китайский)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker
речь идет об идентификации одного письма как спам

верно.

1. отсутствие адреса отправителя

- отсутвие МХ или DNS записи домена в адресе отправителя

- пустое поле FROM:

- KAS : поле FROM: где имя составленное из 4 и более идущих подрят цифр.

- КАS : поле FROM: не в формате RFC.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker
3. отсутствие IP-адреса в системе интернет-адресов DNS

Злобная весч. Если рассмотреть подробнее - то фактически такой IP адрес присутствует в любом заголовке.

Листы DUL очень хорошо оперируют с такими адресами и именно наличие такого IP есть железная причина попадания письма в спам.

Под IP понимается адрес по классификации www.iana.org зарезервированный за сетями Интернет ( Internet Protocol v4 Address Space ).

Разбор полётов.

Проверка наличия DNS имём у IP адресов в заголовке, а иногда и проверка наличия МX записи для этих IP может проходить по разному..

Одни проверяют последний IP, что в случае наличия роутеров перед антиспамом сводит данную проверку на нет, другие предлагают более глубокий разбор..

Как определить насколько глубоко надо делать разбор? Ответ: никак! можно в любом случае проверить IP компьютера, с которого ушло письмо не найти DNS или MX и занести его в СПАМ.

Интеллектуального разбора заголовка я не встречал..

Моё видение такого разбора

1. Поиск доверенных IP

2. Поиск в заголовке МХ и DNS

3. RBL запросы по всем IP из заголовка

4. Выделение IP в списках DUL

5. Анализ кол-ва полей Received.

6. Решающие правило.

В настоящее время по признаку DNS, not in DNS можно загреметь в СПАМ 100%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
В настоящее время по признаку DNS, not in DNS можно загреметь в СПАМ 100%

А с другой стороны если письмо идет с компа не через провайдера, то это явный признак спам-рассылки, зомбирования источника (кстати на этом принципе построен сервис Sophos ZombiAlert).

Если ты легитимный пользователь, отправляешь письмо через своего провайдера и все будет ОК. Разве нет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker
А с другой стороны если письмо идет с компа не через провайдера, то это явный признак спам-рассылки, зомбирования источника (кстати на этом принципе построен сервис Sophos ZombiAlert).

Полностью верно.

Если ты легитимный пользователь, отправляешь письмо через своего провайдера и все будет ОК

Полностью верно.

Разве нет?

Не совсем так, любой SMTP (MX) cервер домена domain.ru поддерживает приём писем для domain.ru откуда угодно (с любого IP). Если модель упростить..

Заведите на MAIL.RU аккаунт и по SMTP пошлите со стрима письма на @mail.ru ..

Стрим в DUL листах есть, Ваше письмо свалиться в СПАМ.

У Вашего IP MX записи нет, Ваше письмо свалиться в СПАМ

Ваш IP не доверенный для MAIL.RU

ВАШ IP гарантированно присутвует в каком-то RBL..

Но Ваше письмо дошло :)

Для усложнения задачи, повторите тоже самое из какой - нибудь домовой сети. (где IP не Интернетовский)

И последний тест.

Выберете бесплатный PROXY

Зайдите на MAIL.RU через WEB и пошлите письмо на @mail.ru.

В принципе по Вашей логике ниодно письмо дойти не должно, но они дойдут :), потому что признаки DNS проверок самостоятельно практически не используются.

Если тоже самое провести, например, с hotmail.com .. письма точно не прийдут.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
nobody@nowhere
речь идет об идентификации одного письма как спам

верно.

1. отсутствие адреса отправителя

- отсутвие МХ или DNS записи домена в адресе отправителя

хуже спама - только борцы с ним. ©

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

john

точнее их безграмотность..

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку

я знаю очень много примеров, когда правила настроены именно так :(

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
nobody@nowhere
john

точнее их безграмотность..

никакой нормативный документ не требует наличия MX. безумие фильтровать почту по данному признаку

я знаю очень много примеров, когда правила настроены именно так :(

это их право - получатели почты именно они. не хотят получать большую часть легальной почты - ради Бога. у postfix есть интересная фича - колбэк прямо во время сессии приема почты для проверки возможности доставить почту отправителю принимаемого письма. на серьезном релее это очень узкое место, но для небольших конторок вполне применимо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

у postfix много фич есть.. но как было правильно отмечено

для небольших конторок вполне применимо
.

Нашёл интересную фичу:

В случае отличного от FROM поля RETURN-PATH, postfix в качестве FROM рассматривает именно RETURN-PATH, были случаи когда этот же postfix рубил письма из-за того, что этом поле была белеберда

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ramonsmaps
      Over the years of independence, the institute has trained more than 13000 physicians (including 800 clinical interns, 1116 masters, 200 postgraduates and 20 doctoral students) in various directions.

      870 staff work at the institute at present,[when?] including 525 professorial-teaching staff in 55 departments, 34 of them are Doctors of science and 132 candidates of science. 4 staff members of the professorial-teaching staff of the institute are Honoured Workers of Science of the Republic of Uzbekistan, 3 – are members of New-York and 2 – members of Russian Academy of Pedagogical Science.

      The institute has been training medical staff on the following faculties and directions: Therapeutic, Pediatric, Dentistry, Professional Education, Preventive Medicine, Pharmacy, High Nursing Affair and Physicians’ Advanced Training. At present[when?] 3110 students have been studying at the institute (1331 at the Therapeutic faculty, 1009 at the Pediatric, 358 at the Dentistry, 175 students at the Professional Education Direction, 49 at the faculty of Pharmacy, 71 at the Direction of Preventive Medicine, 117 ones study at the Direction of High Nursing Affair).

      Today graduates of the institute are trained in the following directions of master's degree: obstetrics and gynecology, therapy (with its directions), otorhinolaryngology, cardiology, ophthalmology, infectious diseases (with its directions), dermatovenereology, neurology, general oncology, morphology, surgery (with its directions), instrumental and functional diagnostic methods (with its directions), neurosurgery, public health and public health services (with its directions), urology, narcology, traumatology and orthopedics, forensic medical examination, pediatrics (with its directions), pediatric surgery, pediatric anesthesiology and intensive care, children's cardiology and rheumatology, pediatric neurology, neonatology, sports medicine.

      The clinic of the institute numbers 700 seats and equipped with modern diagnostic and treating instrumentations: MRT, MSCT, Scanning USI, Laparoscopic Center and others.

      There are all opportunities to carry out sophisticated educational process and research work at the institute.

      Source:
      https://adti.uz/magistratura/
      medical institutes of uzbekistan

      Tags:
      medical institutes of uzbekistan
      regional scientific medical library
      electronic library of a medical student
      electronic medical library official website
    • Dmitrius
      Сервис подбора и сравнение кредитов Случается так, что деньги нужны срочно. Поэтому если у вас нет накоплений, рациональней всего обратиться за помощью на этот сайт, где собраны надежные, проверенные банки, которым точно можно доверять. Учреждения подготовили лучшие предложения, которые только возможны. На этом сайте есть возможность подобрать кредит, а также оформить займ либо взять деньги на приобретение автомобиля. И самое главное, что все это на наиболее выгодных для вас условиях. Автокредит Казахстан проценты - это шанс купить все, что нужно, не отказывая себе в покупке. Все банковские продукты различаются требованиями, условиями выдачи, а потому рекомендуется детально изучить условия договора и особенности выдачи денежных средств. Потребительский кредит оформить (рассчитать) в Алматы получится в данный момент. На этом сайте вы сможете не только подобрать подходящий вариант, но и сравнить имеющиеся. Затем следует определиться с тем, в какой банк обратиться за материальной поддержкой. Составить заявку на выдачу средств можно в режиме реального времени. Кредит наличными заявка онлайн выдается в течение часа наиболее комфортным для вас способом. На портале опубликован список всех доступных предложений, имеется необходимая информация о каждом банке и кредитах. Выберете самую низкую процентную ставку, а также сумму и сроки, на которые планируете занять сумму. Все максимально просто, быстро и понятно. Ипотека проценты Казахстан (ипотека Казахстан) - это отличная возможность решить свои жилищные проблемы. Важно помнить о том, что лишь надежные компании с огромным опытом готовы предложить приемлемые условия. Выберете подходящий для себя банковский продукт, чтобы поправить материальное положение.
    • Dmitrius
      Интернет магазин автозапчастей  Интернет-магазин «AUTOSHOP» реализует внушительный выбор деталей на автомобили - их можно подобрать не только по наименованию, но и артикулу и другим параметрам. Имеются разные запчасти на любые автомобили самых разных марок и моделей - вы сможете их найти в один клик. Запчасти находятся на складе - это дает возможность осуществить быструю транспортировку. Сотрудничество исключительно с надежными, проверенными поставщиками, которые работают на совесть и предлагают продукцию безупречного качества и с длительными эксплуатационными сроками. Автозапчасти интернет магазин для иномарок рекомендует ознакомиться с полным ассортиментом – он даст возможность подобрать вариант с учетом обозначенных требований. Перед тем, как осуществить приобретение, необходимо детально изучить технические аспекты, ведь именно они влияют на сроки эксплуатации и внешний вид авто. Но если вам требуется помощь специалиста, то вы всегда можете воспользоваться профессиональной консультацией. Автозапчасти для иномарок Курск вы обязательно подберете для любой машины, несмотря на год производства. Изучите справочник автотоваров, каталог, а также новости, представленные на данную тематику - информация поможет принять правильное решение. Сотрудники интернет-магазина быстро реагируют на появление новых деталей в европейских магазинах для того, чтобы в ближайшее время пополнить ими свой ассортимент. Это даст возможность быстро среагировать за изменяющуюся ситуацию. Каталог автозапчастей Курск содержит огромный перечень деталей. Они созданы в соответствии с самыми высокими стандартами, нормами, требованиями. Администрация проверяет запчасти на соответствие заданным характеристикам, поэтому в продажу попадает только та продукция, которая имеет сопроводительную документацию, сертификаты. На продукцию есть гарантии, подтверждающие безупречное качество, оригинальность.
    • JamesBisee
      Купить газовый котел с закрытой камерой сгорания в Москве
      https://www.fire-flower.ru/
      https://www.google.tg/url?q=https://fire-flower.ru
    • PR55.RP55
      По всей видимости uVS не всегда может получить доступ к: Hosts Нужно чтобы в Лог писалась информация: "Нет доступа  к Hosts " Вроде сейчас uVS  соответствующих записей не создаёт?
×