Напугали ежа голой жопой

Лаборатория Касперского выпускает программу «АнтиСпам», которая, при помощи эвристических алгоритмов, будет отделять зёрна от плевел. Утверждается, что программа на данном этапе отфильтровывает 80-90% спама. Можно сказать, что программа на примитивном уровне «понимает», что написано в письме.

Здесь [ >> ]

Ну хорошо. Предположим. Знаете, что такое HTML-письма? Это письма, где для разметки письма (тут написать жирнее, тут — включить картинку) используется HTML — язык с довольно богатыми возможностями. В частности, в нём существует несколько способов «спрятать» текст так, чтобы его не прочитал человек, но увидела машина и тысячи способов замаскировать способы которыми текст «прячется». В итоге, для человека письмо будет выглядеть как спам, а для машины — как нечто совершенно безобидное.

Комментарии 20

Комментарий удалён № 1
bolk автор № 8
Я говорил о конкретном способе обмана конкретного алгоритма конкретной программы. Кстати, то, что у вас в офисе HTML отлавливается лучше plain text ни о чём не говорит — выборка не репрезентативна. Вообще говоря, HTML более сложный формат, с ним должно быть больше проблем, если использовать некоторые его возможности. Просто никто их не использует.

Ссылочка и критерии отлова были бы кстати. :)
kukutz № 2
SpamPal рулит как локальное решение.

Корпоративными не интересовался.

Касперского давить.
bolk автор № 9
А с описанным мной способом он не может быть обманут?
kukutz № 10
Он работает в основном по DNSBL.

Есть блэклист и вайтлист по адресам с вилдкардами.

Есть автовайтлист по разным условиям.

И есть два плагина — регексп и бэдвордз.

Вот регексп работает и с телом пейсьма тоже.

Спам маркируется как спам, а удалять или процессить — дело клиента.
bolk автор № 11
А.. ну это скучно. Такими я пользовался. Очень часто происходят ложные срабатывания, посколько какие-нибудь SMTP-сервера, настроенные криворукими админами, попадают в список, а деловые предложения часто похожи на спам.
aamonster № 3
Вообще-то один мой знакомый админ поступил просто: у него режется _все_, что не plain text, и все русское, что не koi-8. 80-90% спама уже убито, а письма от нормальных людей проходят.

У меня сделано другое: фильтр в The Bat, который перекладывает письма от людей, имеющихся в address book, в отдельную папочку. И еще один фильтр на исходящую почту — чтобы все, кому я пишу, автоматически включались в address book.

Сочетание этих двух методов уже даст неплохой результат. А если добавить еще фильтрацию по ключевым словам — то совсем хорошо станет. Лучше всего, imho, сделать так: ввести 'оценку' письма. Изначально — 0. Если письмо в html или не в koi-8 — минус 100 баллов. Если от кого-то из знакомых — плюс 500 баллов. И за каждое ключевое слово/фразу, характерные для спама — минус 20 баллов. И резать, скажем, по порогу -120.
aamonster № 4
Да, совсем забыл: еще есть DRBL и прочее…
bolk автор № 7
И куча ложных срабатываний. Даже в офисах вполне серьёзных организаций могут сидеть лохи-админы, случайно сделавшие из своего sendmail open relay.
anoxape № 5
Сочетание этих двух методов уже даст неплохой результат. А если добавить еще фильтрацию по ключевым словам — то совсем хорошо станет. Лучше всего, imho, сделать так: ввести 'оценку' письма. Изначально — 0. Если письмо в html или не в koi-8 — минус 100 баллов. Если от кого-то из знакомых — плюс 500 баллов. И за каждое ключевое слово/фразу, характерные для спама — минус 20 баллов. И резать, скажем, по порогу -120.

SpamAssassin (http://spamassassin.org/)

bolk автор № 6
Этого знакомого админу убивать надо. :) Мало кто мне пишет с Outlook в windows-1251? Почему спам-то сразу?

По поводу фильтра в TheBAT!. В новых версиях эта возможность называется «Входящие — известные адресаты». Но дело в том, что мне, например, пишет множество совершенно незнакомых людей. И то, что они пишет спамом отнюдь не является. :)

Насчёт последнего. Примерно так и работают обычные спаморезалки. В т.ч и «АнтиСпам». Только алгоритм у них сложнее, потому что «слова характерные для спама» — обычные русские слова и могут появиться где угодно. Так что их приходится учитывать к конексте. Вот тут они и наступят на грабли о которых я говорил — если я «разбавлю» спамовые фразы безобидными, но незаметными для человека, никакой «АнтиСпам» не сработает :)
aamonster № 12
Его почта — что хочет, то и делает. Он же себе такой фильтр поставил, не юзверям.
Что касается писем в 1251 — ну неинтересно ему переписываться с _такими_ чайниками.

В новых The Bat есть только половина фильтра :-) — нужно еще автодобавление людей в базу.
А читать только от знакомых я не призываю. Тут тема другая: знакомые имеют право присылать все, что угодно, их письма не проверяются на сходство со спамом. А ящик с письмами от незнакомцев просматривается по диагонали — как правило, только заголовки.
bolk автор № 13
Отсылать письма можно в любой кодировке, в какой только душа пожелает. Ничего «чайниковского» тут нет. :) KOI-8r никакой не стандарт, просто «так принято». :)

А насчёт «половины фильтра»… :) Ну.. может и можно всё это настроить, не знаю, не смотрел. TheBAT, вообще, штука мощная. :)
aamonster № 14
bolk, Вот за попытки отсылать письма «в любой кодировке» как раз и надо душить. Есть стандарт де-факто, и не надо за него вылезать.
deadem № 16
aamonster, чче? это koi8-r де-факто? а почему тогда не в unicode?
если уж на то пошло, к вопросу о кодировках… было их несколько, в порядке возникновения, причем КАЖДАЯ возникала не на пустом месте, а в соответствии с задачами того времени, и является СТАНДАРТОМ:

ГОСТ 19768—74, она же DKOI, она же KOI-8,

В 1988 г. Международной организацией стандартов был утвержден стандарт ISO-8859-5,

KOI8-R, созданная на базе ГОСТ 19768–74, она же СP-878

вместо советского стандарта ГОСТ 19768–74 был принят и введен в действие с 01.01.1995 межгосударственный стандарт новых независимых государств ГОСТ 19768-93 для двух версий СP-DKOI-K1 и СP-DKOI-K2 двоичного кода обработки информации.

CP-1251, наконец, разработанная сами знаете кем, на базе ISO 8859-5.

на сегодняшний день, когда борьба с 7битными сообщениями уже не столь актуальна, как 10 лет назад, наиболее удачны ISO 8859-5 и CP-1251.
в качестве примера — пропробуйте отсортировать массив строк в koi8, и в cp-1251.
aamonster № 17
deadem, Вообще-то, что касается сортировки — все равно %уйня из-за того, что надо сортировать case-insensitive. Так что тут разница невелика.

А вот стандартность koi-8 для e-mail — свершившийся факт. За разработку 1251 на основе ISO-8859-5, а не реально применявшихся в те годы 866 и KOI, сами знаете кого расстрелять надо было — десять лет смуты и борьбы кодировок.

По моему опыту, если в письме кодировка win-1251 — одно из двух: оно либо автоматически создано каким-то сайтом (т.е. рассылки надо либо заказывать в koi-8, либо прописывать их адреса в список допускаемых корреспондентов), либо это произведение спамера. В моем случае — как правило, второе.

Что касается приходящих мне html-писем — 80% спам, 18% — рассылки, 2% — письма от чайников. Соответственно, при «иерархической» фильтрации если в письме от чайника встретится что-то рекламоподобное — сам виноват.

P.S. На переход на unicode согласен =). Его появление, в отличие от win-1251, было оправдано.
Хотя нутром чую — рано или поздно его не хватит, и будут расширять. Сколько в мире разных алфавитов? И по сколько в них букв?
deadem № 18
aamonster, Re:

а вот и хренушки — оно разрабатывалось как раз с тем, чтобы case insensitive сортировать — как в аглицком, так и в русском разница между строчной и прописной буквой — в ISO и 1251 = 32.
так что, на самом деле, использование этих кодировок обосновано.

юникод не на пустом месте разрабатывался. все сегодняшние алфавиты в него укладваются. а если кто-то начнет придумывать символы, которых нет ни в одном языке мира — сам виноват ;)
если пересекаются — тогда все просто.
aamonster № 15
bolk, Да, кстати, возвращаясь к фразе «html мощный формат, и можно спрятать». Вообще-то если что-то пытаются спрятать (а это обнаружить достаточно просто) — 99%, что это спам.
bolk автор № 19
aamonster, Обнаружить это сложно. Например:

<span style="background-color: rgb(255,255,255); color: white">это не спам</span>

Это можно написать целой кучей разных способов, прибавь сюда font-size, visibility, display и т.д.
muslim № 20
Петушня все ето.
Диалеры затрахали. Они меня поставили на колени.
Кто нибудь хакните насмерть http://pornushka.ru https://web.archive.org/web/20030207123434 … puh.ru:80/ http://sexymafia.ru http://sexyque.ru .
Вот нашел https://web.archive.org/web/20030616094330 … 80/fus.exe
Требует валидную валую, чтоб заработала.