r7 - 06 Jun 2007 - 14:11:12 - Sergej ZnamenskijYou are here: TWiki >  Clearmail Web > MoP
-- Yury Khalyawin - 17 Apr 2004

Botik Tools::


Проект системы борьбы с нежелательной почтой в СТ "Ботик"

Общие положения

  • Под нежелательной почтой везде ниже понимается как SPAM/UCE-письма, так и письма с вредоносными программами (вирусы, черви).
  • Проект будет выполняться в том числе и как серия из курсовых/дипломных студенческих работ УГП.  Лаборатория "Ботик" обеспечит оплату работ по достигнутым практическим результатам.
  • Проект следует вести грамотно, со средствами наблюдения и управления проектом:
    • список рассылки участников проекта ( clearmail@botik.ru, подписка/отписка по clearmail-request@botik.ru)
    • CVS и т.п.; данная страничка затравка документации по проекту, ее надо положить в CVS и разрабатывать дальше.


Список идей, которые возможно следует реализовать в рамках этого проекта

Я начал этот список для того чтобы иметь более или менее ясное представление обо всех идеях что когда-либо высказывались по этому поводу. Потому как начинаю просто запутываться.

Список следует пополнять(я просто не помню их всех). Кому что в голову придет, дополняйте, будьте так любезны. Я здесь представил более или менее общую картинку того что, как мне думается, нам всем хотелось бы создать и использовать.

  1. Различные списки whitelists, blacklists, с удобным пользовательским интерфейсом. Автоматические методы обновления данных списков(white).
    1. Создание web-интерфейса для пользовательских white/black/etc листов, формат нужно продумывать исходя из того что списки будут использовать exim и SpamAssasin.
    2. Автоматические методы генерации списков/обучения фильтров аля SpamAssassin /распределенных систем аля SpamCop/Razor/etc:
      1. Идея Цирлина: "я хочу получать почту от тех кому я сам посылал письма".
      2. SA можно обучать.
      3. Все распределенные листы тоже можно обучать, для этого существуют отдельные утилиты, а также есть какой-то интерфейс в SA(кстати для SpamCop тоже).
      4. ...
  2. Связь с exim4:
    Существуют несколько стадий проверки писем:
    1. удаленный ip адрес соединения проверяется на присутствие в различным white/black/etc списках(общих).
    2. адрес получателя сравнивается на корректность(нам ли? хочет ли наш получатель получать письма от $from?)
    3. рассматривается письма уже полностью, со всем заголовками. Тут уже анализируется все, от заголовков до тела письма. Тут запускается SpamAssasin и прочие проверки.
    Нужно продумать как сделать из всего этого единую систему. Фактически exim'у нужны только списки, он умеет их читать, нужно ему их только дать. Тут нужно поизучать немного сам exim, определить формат списков(и для SpamAssasin'a тоже).


Обозначения и общие замечания

  • компоненты уже (в каком-то виде) реализованные в СТ "Ботик" выделены полужирным шрифтом, маркером выделены фрагменты подлежащие исследованию и реализации, маркером выделены фрагменты над которыми в данный момент ведется работа;
  • часто встречаемое понятие распознание "похожих" на образцы SPAM-а писем означает не обязательно точное (полное совпадение) сравнение; на первом этапе можно делать сравнение на совпадение, в дальнейшем изучать и обходить средства спамеров, уклоняющихся от полного совпадения их писем (случайные числа, замена пробелов на невидимые символы и т.п.)
  • на схеме "мусорное ведро" обозначает одну из возможных обработок нежелательного письма:
    • отказ в доставке (с отсылкой "отбойника"),   при реализации отбойников избегать mail-loop-ов (не посылать отбойники автоматам, в списки рассылки и прочее);
    • запрос на перепосылку (Юра продумывал такой механизм);
    • доставка в особом виде: спец. пометка в заголовках (например: To: abram-SPAM@botik.ru, Subject: [SPAM|Virus!] ....) и/или возможная инкапсулировация оригинального письма (например, как ZIP-вложение, или просто вложение).

Общая схема системы (не догма, а предмет для обсуждения)

Нажмите мышью, для просмотра картинки в увеличенном виде
clearmail1.png (92246 bytes)

1. Фильтрация нежелательных писем по заголовкам

  • Анализ источника(From:): ORDB, SpamCop, иное
  • Ограничение на адрес получателя ( То: ): пользователь может ограничивать вид адресов (по сравнению с *@xxxx.pereslavl.ru).
  • Иное?

2. Фильтрация нежелательных писем по анализу всего письма

2.1 Антивирусные фильтры

  • Clamav, DrWeb, F-Prot, иное (многие антивирусы имеют вполне функциональные и неограниченные временем демо-версии, достаточны для фильтрации)

2.2 Фильтрация SPAM/UCE по анализу всего письма

  • Самодельный фильтр по распознанию "похожих" с образцами писем (Word.DB);  Блок обучения такого фильтра.
  • SpamAssasin и подобные готовые системы;
  • Разработка собственной системы ИИ-распознания русскоязычного SPAM-а, например за счет использования результатов по работе "раскладка" Программы "СКИФ" Союзного государства (все исходники есть и они собственность ИПС РАН); обучение и фактографический анализ именных групп.

3. Автоматизация жалоб клиентов на нежелательные письма (локальный SpamCop)

  • Plug-in средства в e-mail-клиентах (Outlook, Outlook Express, The Bat (Халявин Юрий), Botik Web Mail, иное) для автоматизации процесса жалобы клиента на нежелательные письма.
  • Управление и надзор над жалобами (Эльвира Власова): PIN-коды жалобщиков, журналы и модерирование (Веб-интерфейс модератора), по результатам модерирования ведение рейтинга жалобщиков, пропуск жалоб от доверенных жалобщиков сразу (с последующим модерированием для актуализации рейтинга), от остальных только после надзора.
  • Блок автоматической отработки взаимодействия с глобальным SpamCop-ом(Сергей Погодин): пишет ему жалобу, получает от него письмо с URL, заходит на страницу, подтверждает жалобу...
  • Автомат обрабатывающий полученное от пользователя "спамовое" письмо(Халявин Юрий)
  • Возможно взаимодействие с иными центрами жалоб (аналогами SpamCop-а).

4. Очистка хранимых в почтовых ящиках (еще не забранных) писем от SPAM-писем за счет сравнение на "похожесть" с образцами из жалоб

Когда у нас есть в руках жалобы (прошедшие модератора или от доверенных Абонентов), то мы можем при помощи них из еще не считанных из почтовых ящиков Абонентов удалить такие же ("похожие") письма. Нужна реализация такого типа фильтрации.   Возможно это можно (нужно) делать на уровне popit?

5. Управление (Веб-интерфейс Абонента и Администратора) всей системой

В данном месте следует предусмотреть (среди всего остального прочего) средства показа статистики эффективности работы системы.

Еще, каждый Абонент (и Администратор) должен иметь возможность гибко и всецело управлять средствами фильтрации (1), (2), (4): например, включать и полностью отключать ту или иную фильтрацию (включая вирусную), гибко управлять любыми параметрами (например, отдельное по каждому Абоненту управление параметрами assasin-a, "Раскладки"), управление по ограничениям на допустимые адреса доставки (To: не на весь домен *@xxxx.pereslavl.ru, а только на некоторые адреса).

Show attachmentsHide attachments
Topic attachments
I Attachment Action Size Date Who Comment
elsecdr clearmail.cdr manage 29.8 K 17 Apr 2004 - 21:07 Khalyawin Yury? исходник картинки(в формате Corel Draw)
pngpng clearmail1.png manage 90.1 K 17 Apr 2004 - 21:06 Khalyawin Yury?  
pngpng clearmail2.png manage 155.4 K 17 Apr 2004 - 21:07 Khalyawin Yury?  
Edit | WYSIWYG | Attach | Printable | Raw View | Backlinks: Web, All Webs | History: r7 < r6 < r5 < r4 < r3 | More topic actions
Clearmail.MoP moved from Nadmin.MoP on 06 May 2004 - 14:55 by Yury Shevchuk - put it back
 
Powered by TWiki

This site is powered by the TWiki collaboration platformCopyright © by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback