Перейти к содержанию

Recommended Posts

pROCKrammer

Здравствуйте,

у меня тут глупый вопрос. есть ли какие то книги или статьи на тему как работают приложения для борьбы со спамом?

Ещё раз извените за глупый вопрос.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego1st

их помойму всего парочку, на основе правил и эвристическим способом..

поконкретней бы вопрос, а то достаточно тяжело ответить, судя по потписи сидите на линуксе, лучшая статья как работает почитайте про спамассасин думаю не составит труда разобратся в нем..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Pavel Polyanskiy

Вообще технологий защиты от спама на основе проверки контента существует много, но самые популярные из них - это правила на основе фильтров URL, встречающихся в тексте, хэширование сообщений, анализ заголовков, анализ полей Subject и From, анализ тела сообщения, Regex, на основе матриц встречаемости ключевых слов и т.д. Имеются и эвристические методы.

Анти-спам engine'ы, имеющиеся в открытом доступе (наподобие Spam Assassin), как правило требуют длительного обучения и не пригодны для использования в production environment,

т.к. имеют крайне низкую точность обнаружения спама и плохой catch rate.

Помимо правил и эвристиков существуют также открытые DNSBL и RBL - "черные" и "белые" списки

адресов отправителей спама, которые можно с выгодой использовать в процессе борьбы со спамом.

В настоящее время приобретают популярность новейшие технологии блокировки спама на уровне

SMTP-соединения, т.е. еще до того, как MTA примет письмо (сообщения блокируются в соответствии с репутацией IP отправителя, накопленной на глобальном и локальном уровне).

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
pROCKrammer

Спасибо за информацию ... просто ради интереса хотел написать маленький анти-спам для себя

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001
то книги или статьи на тему как работают приложения для борьбы со спамом?
хотел написать маленький анти-спам для себя

Неплохобы сначала скачать один из них и изучить его работу, а потом сравнить с другим.

Предлагаю одни из старейших:

SpamBully

Spamihilator

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
pROCKrammer
Неплохобы сначала скачать один из них и изучить его работу, а потом сравнить с другим.

Предлагаю одни из старейших:

SpamBully

Spamihilator

эх жаль у меня не Windows ;) а так бы протестировал

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001
эх жаль у меня не Windows а так бы протестировал

Я знаю, но долго что ли поставить. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
spamolov
Анти-спам engine'ы, имеющиеся в открытом доступе (наподобие Spam Assassin), как правило требуют длительного обучения и не пригодны для использования в production environment,

т.к. имеют крайне низкую точность обнаружения спама и плохой catch rate.

Не хочется конечно превращать эту ветку в спор, но я считаю что здесь вы не правы. Старичек SpamAssassin, еще дасть многим фору. Насчет "требуют длительного обучения", насчет какого-такого обучения вы говорите, обучение встроенного Бейса? Так Бейс вообще не рекомендуется использовать, а так включил URI_BL, скачал скажем SARE_RULES(набор постоянно обновляющихся контент правил для SpamAssassin), включил так же DNS_BL и будет достаточно эффективно работать даже как вы выразились в production environment. :) Конечно может быть не так эффективно, как коммерческие продукты, но тут уж кто не платит довольствуется тем что есть. В России тысячи организаций используют SpamAssassin. Да и в мире могу назвать несколько вендоров, которые его используют в своих сервисах.

Спасибо за информацию ... просто ради интереса хотел написать маленький анти-спам для себя

Тут вы определитесь сначала, какие алгоритмы хотите в нем реализовать. Скажем можно поломать голову и написать проверку почты с помощью бейсовского алгоритма, но опять же только в образовательных целях. :rolleyes:

Можно просто сделать парсер правил состоящих из регулярных выражений(все это есть в SpamAssassin), то есть даете письмо на вход и набор правил с весами(очками), и проверяете письмо по этим правилам, как только правило срабатывает, запоминаете его вес и так далее, в конце проверяете общее колличество набранных очков и сравниваете его с колличеством очков при котором письмо будет спамом, если набрали больше, то например помещаете в заголовок(header) строчку о том что письмо - спам.

На самом деле писать все это заново считаю очень трудоемким, если хотите понять как оно работает, возьмите просто SpamAssassin,он open source и написан на Perl. Поэтому просто возьмите его и посмотрите как у них это в коде реализовано.

Отредактировал spamolov

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
skAmZ

Правильные вещи люди гляголят, spamolov все правильно написал... в SpamAssassin сомневаться не стоит)

На счет собственно темы, писать много мне лень поэтому вот ссылка, где много чего про СПАМ написано:

http://all-ib.ru/content/spam/spam_part_1.php

Написано хорошо, а вот читать не очень то удобно, там разбито на страницы вместо того чтобы читать приходится кликать регулярно... я больше страниц 10 не осилил))))...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sklady

Я согласен, что антиспам нужен, но прочесть по этому делу целую книгу - это слишком.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Зайцев Олег
Здравствуйте,

у меня тут глупый вопрос. есть ли какие то книги или статьи на тему как работают приложения для борьбы со спамом?

Ещё раз извените за глупый вопрос.

В плюс к приведенным советам (писать свой антиспам конечно можно - но смысл ? ... академический смысл конечно есть - например, в качестве диплома):

1. стоит всеже для начала почитать про теорему Байеса и фильтр Байеса (начиная отсюда - http://ru.wikipedia.org/wiki/%D0%91%D0%B0%D0%B9%D0%B5%D1%81, ну и далее http://ru.wikipedia.org/wiki/%D0%91%D0%B0%...B0%D0%BC%D0%B0). Эта теория описывает одину из самых простых методик фильтрации на основе анализа контента, с возможностью дообучения и без привлечения внешних баз... ну и далее в том-же духе, можно прикрутить какой-нибудь "нейролингвистический анализ", эволюционные алгоритмы и т.п. Однако стоит понимать, что современный спам учитывает возможность контент-фильтрацию (и вместо контента в письме может быть ссылка без текста, ссылка + бредовый постоянно меняющийся текст-приманка, картинка, картинка с защитой от OCR и т.п.).

2. Есть методики, полезные в случае реализации на сервере:

2.1 если почтовый сервер при получении письма из сомнительного источника сообщит передаюшему серверу, что занят ... и пошлет его вон, то нормальный SMTP сервер попробует повторить передачу через N часов. Спамбот - не будет пробовать, и тем самым мы отсекаем спамботов на корню

2.2 изучив заголовки письма можно понять, откуда и от кого оно идет оно идет - и накрутить массу простых проверок. Например, проверить, есть ли такой почтарь-отправитель в природе (MX запись в DNS), или например в ходе анализа выяснится, что письмо с обратным адресом pupkin@smolen.ru идет с почтаря mail.ru, то мягко говоря это странно. Сделать такие проверки несложно, эффективность их высокая.

2.3 на момент приема письма мы знает IP сервера, от которого мы его получаем - можем проверить его репутацию пор разным базам

2.4 мониторинг почтовой активности на сервере позволяет автоматически создавать правила. Например, pupkin@smolen.ru написал письмо на адрес avz@z-oleg.com. Следовательно, если с avz@z-oleg.com ему придет ответное письмо, то его можно немедленно пропустить, так как мы точно знаем, что pupkin@smolen.ru туда писал. Равно как наоборот, если скажем извне на @smolen.ru впервые придет письмо с avz@z-oleg.com и мы его пропустим, и затем на него последует ответ и завяжется переписка - то это показатель того, что пропущенное письмо не было спамом. Или например можно запомнить, с какого почтаря идут почта от avz@z-oleg.com, и если она например всегда шла от почтаря @z-oleg.com и вдруг пошла от @mail.ru - это будет опять-же странно.

3. с академической точки зрения можно рассмотреть идею "антиспам-ловушек", т.е. ящиков, которые "засвечиваются" и используются в последствии для того, чтобы ловить спам (ну и далее сеть из тысяч таких ящиков-приманок, консолидация данных и создание своих черных списков и правил фильтрации). Аналогично работают разные кнопки типа "пожаловаться на спам" в крупных почтовых системах - ведется глобальное накопление статистикии о том, что пользователи считают спамом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Curtismab
      Неотразимые мягкие места в уборной выставляют дивчины https://devkis.net на развратных фотках
    • Dmitrius
      БигПикча новости в фотографиях Бигпикча – это уникальный портал, который предлагает ознакомиться с самыми интересными и увлекательными новостями. Они понравятся каждому, кто всегда желает держать руку на пульсе и быть в курсе последних новостей, событий в мире. Этот портал уникален тем, что все материалы сопровождаются красочной фотографией для наглядности. Сайт приковывает к себе внимание с самых первых минут. Его хочется постоянно рассматривать, наслаждаться интересной подачей материала. Над его созданием трудились лучшие авторы, настоящие эксперты в своем деле, которые преподносят информацию таким образом, чтобы она понравилась людям любого возраста и независимо от социального положения. На bigpicture.ru только интересные, яркие новости на самые злободневные темы, а потому вы обязательно найдете что-то стоящее для себя. Есть любопытные статьи про животных, людей, еду, оригинальные вещи. Имеются факты, а также топы, которые интересно пересматривать вновь. Администрация сайта регулярно выкладывает статьи, которые помогут взглянуть на привычные вещи под другим углом. Если и вы хотите развлечься после трудового дня или в выходной, то скорей заходите на этот сайт, который знает, что вам предложить, чтобы разнообразить досуг и сделать его ярким, насыщенным. Авторы умеют удивлять, поэтому при составлении контента учитываются интересы всех читателей. Рассматриваются факты, о которых раньше вы даже не догадывались. Они прольют свет на многие вопросы. Новости в фотографиях, увлекательные путешествия, истории, лонгриды и многое другое представлено на этом сайте. Добавляйте его в закладки, чтобы не потерять, ведь этот портал является пищей для мозга, возможностью расширить свое сознание и повысить уровень интеллекта. Ищите любимый сайт в социальных сетях.
    • Curtismab
      Офигенные соски в усадьбе показывают глупышки https://devkis.net на эро фотокарточках
    • Dmitrius
      Арбитражный управляющий Каждый может оказаться в такой ситуации, когда требуется профессиональная и своевременная поддержка юриста. Если и вы вынуждены стать банкротом и оформить это по закону, то необходимо обратиться за такой услугой в центр банкротства. В компании работают квалифицированные специалисты с большим опытом, а в их багаже большое количество успешно завершенных дел. Именно поэтому вы сможете надеяться на отличный результат. Важно учесть тот момент, что специалисты детально изучают вопрос для того, чтобы подробно рассмотреть вопрос, после чего выявить возможности благоприятного результата. Списать долги Волгоград (Списание кредитов) получится по закону. Нет необходимости в том, чтобы переживать за процесс. Так специалисту удастся списать те долги, которые вы не в силах выплатить. Увы, но этот процесс может занять несколько месяцев, к тому же он не бесплатный. Банкротство физических лиц в Волгограде ведет компетентный сотрудник – он добросовестно и ответственно подойдет к решению вопроса. Он будет защищать интересы клиента, руководствуясь Конституцией. Юрист по банкротству займется оформлением документов и заявления, подготовит все факты в пользу того, чтобы объявить вас неплатежеспособным. Опыт сотрудников позволяет браться за дела различной сложности. Арбитражный управляющий Волгоград поможет вам избавиться от долгов. Что касается расценок, то на них влияют самые разные факторы, включая расходы на законодательном уровне. Подписывается договор на указание услуг – в нем указываются обязанности каждой стороны, набор услуг. Юрист рассмотрит все аспекты вашего дела. Важным моментом является то, что все ваши долги будут списаны в полном объеме при положительном исходе дела. Специалист использует все ресурсы, которые потребуются для того, чтобы получить положительный результат.
    • Dmitrius
      Септик в Москве и Московской области Компания долгое время и на выгодных условиях оказывает услуги, связанные со строительством автономной канализации в Москве и области. Если Вам необходима выгребная яма – ознакомьтесь с интересующей информацией на официальном портале. Автономная канализация, организованная на дачном участке, положительно влияет на уровень комфорта. Несмотря на то, планируется ли круглый год проживать на участке или только летом, вы почувствуете удобство. Цену на ее установку вы сможете узнать на сайте. Компания длительное время работает в данной сфере, а потому предлагает только выгодные условия, доступные цены, а сами работы выполняются быстро, аккуратно и в наиболее комфортное время. Она наладила сотрудничество с проверенными и надежными поставщиками оборудования. Специалисты создадут высокотехнологичную и работающую систему под ключ. В работе используются только надежные, качественные материалы, выполняются технологические условия. Если говорить о ценах, то они остаются на среднем уровне, а потому воспользоваться услугой смогут все, кто хочет. Кольцевой накопитель отлично подходит для сбора сточных вод при условии, что в доме на постоянной основе проживают до 7 человек. Все работы будут выполнены в минимальные сроки и тогда, когда это удобно именно вам. С собой будут все необходимые инструменты, а также материалы. Сотрудники осуществят установку и выполнят все нужные работы. При появлении вопросов задайте их сотрудникам, которые все пояснят, а также определят общую стоимость работ. Специалисты выполнят все необходимые работы, несмотря на время года. Отсутствуют дополнительные наценки, переплаты, только прозрачные условия сотрудничества.
×