r21 - 16 Nov 2004 - 16:29:00 - Elvira VlasovaYou are here: TWiki >  Clearmail Web > Complaint
  • Предмет разработки: Управление и надзор за жалобами.

  • Требования к окружению:
    • компонента работает на Linux-сервере.

  • Функциональность:
    • Жалоба:
    • Разбор жалобы:
      • получить UIN жалобщика
        • использовать IP-адрес машины, с которой послана жалоба,зять его из первого заголовка Received.
      • разобрать жалобу по вложениям:
        • получить параметры вложения (:FROM, :RECEIVED, :DATE, :SUBJECT, source IP, etc)
        • задача: максимально облегчить процедуру отправки жалобы. Человек пересылает нам спаммерское письмо, как может -- возможно, с потерей части заголовоков или другими искажениями оригинального письма, это зависит от используемого им жалобщиком почтового агента. Нужно восстановить оригинальное письмо. Для этого нужно все проходящие через сервер письма хранить некоторое время в ожидании жалоб. (Эльвира: Через какой сервер проходят письма? Юра: для начала clearmail.u.pereslavl.ru. В перспективе mail.botik.ru). Написать процедуру, которая по жалобе находит в этом архиве оригинальное письмо.
    • Определение статуса жалобы:
    • Определяем, доверенный жалобщик или нет:
        • Если жалобщик не доверенный:
          • Поставить жалобу в очередь на ручную обработку жалоб. А перед этим можно письмо прогнать через spamassassin, посмотреть, сколько баллов он даст этому письму. Если насчитает баллов 5 (обычный порог у нас 7), то можно надеяться, что действительно жалоба законная и обрабатывать ее автоматически, так, как если бы она пришла от доверенного жалобщика. Можно даже на иметь деления на доверенных/не доверенных, а связать с каждым жалобщиком балл, сколько его жалоба добавляет к оценке spamassassin.
          • Эльвира: Непонятно, что значит "сколько его жалобы добавляет к оценке spamassassin"
          • Юра: Рассмотрим пример. Жалобшик категории 3 присылает нам жалобу на спам. Покакому принципу происходит деление жалобщиков на категории? Мы пропускаем даный образец спама через spamassassin, spamassassin говорит: 4.5 балла. Мы суммируем: 4.5+3 = 7.5, и делаем вывод: да, это письмо спам, на надо показывать его спаммастеру, а можно сразу обрабатывать его как спам: посылать на razor, spamcop, вносить в местные черные списки. А если spamassassin насчитает 1 балл, то 1+3 = 4 < 7, и мы скажем: странно, это письмо не очень похоже на спам, а человек жалуется. Перешлем эту жалобу спаммастеру. Спаммастер посмотрит, и если письмо действительно спам, он может повысить категорию жалобщику. А если это не спам (ложная жалоба), то понизить или вообще игнорировать жалобы от данного жалобщика.
        • Если жалобщик доверенный:
          • регистрация жалобы в журнале
          • складывать в архив все жалобные письма, чтобы в при необходимости расследования можно было откопать проблемное письмо.
      • Проверка жалобы на спам:
        • spamassassin + балл жалобщика.
        • Это спам:
          • начисление штрафных баллов: [-0.5] за ложную жалобу, [+1] балл за оправданную жалобу;
            • все жалобы, не проходящие проверку на spamassassin, нужно ставить в очередь на ручную обработку. А уже при ручной обработке модератор решит, что делать: повысить жалобщику балл или понизить.
              • Эльвира: Что значит ручная обработка жалобы?
              • Юра: это значит: переслать письмо на адрес спаммастера. Это человек, который разбирает сомнительные жалобы и своей человеческой головой принимает решение, что делать с каждой из них.
          • начисление бонусов
    • Письмо, признанное спамом, передается следующей части системы.
      • Это программа clearmail-handle-spam, получающая письмо на stdin.
  • Состав модуля: ???

  • Состав и тип установочного пакета: ???

  • Состав документации:???

  • Организация взаимодействия с пользователем: прием писем с жалобами

  • Организация взаимодействия с другими модулями системы:
    • Вызов spamassassin
    • Передача спама программе clearmail-handle-spam

  • Средства для реализации модуля: Perl

Что сделано на 05.10.04:

  • Приходит жалобное письмо, смотрим, проверяли ли мы это письмо раньше, все ID писем, которые мы уже проверили, хранятся в файле. Если же такое письмо мы еще не проверяли, то делаем следующую проверку: существует ли такой жалобщик или нет. Вся информация о жалобщиках хранится в отдельном файле, а именно: ID каждого жалобщика, и количество баллов напролтив, по которым мы можем определить, является ли жалобщик доверенным или нет.
  • Если окажется так, что это письмо мы не проверяли, и ID жалобщика имеется в файле, то смотрим, правильно ли прислано письмо, и содержит ли вложение (forward as attachment), если вложение есть (вложений может быть сколько угодно), то проверяем каждое через spamassassin, и оценку заносим в файл, сохраняем письмо в архиве
  • Архив состоит из 2 частей:
    • обоснованные жалобы: те, вложения в которых spamassassin определил как спам, или те жалобы, вложения которых не определены spamassassin'om как спам. На этот случай есть балл жалобщика. К оценке spamassassin'a прибавляется балл жалобщика; результат должен быть больше определенного значения (определенного нами, для того, чтобы понять, является письмо спамом или нет).
    • необоснованные жалобы: оценка меньше определенного нами значения
  • Если жалоба обоснованна, передаем её следующей части системы: clearmail-handle-spam
  • Если жалоба необоснованна, передаем на адрес: spammaster@botik(точка).ru

  • Если вложения нет, или если письмо мы уже проверяли, или ID жалобшика нет в списках, или файл прислали неверно, то просто выходим из программы.

ToDO:

  • Вынести в отдельный модуль генерирование балла для жалобщика. То есть принцип, по которому мы из значения spamassassina и балла жалобщика получаем новое значение. На основе этого результата мы делаем вывод: является ли письмо спамом или нет, и в зависимости от этого добавить жалобщику балл или убавить.

ToDO:

  • Разобраться с файлом, в ктором лежат ID уже проверенных писем. Подготовить stress-test (сделать файл, который обрабатывался бы больше 1 сек.). Если файл обрабатывается больше 1 сек., то старые ID просто стирать.
  • В LOG файл записывать всю инфо о жалобщике (пришло письмо, сколько баллов и т.д.)
  • Разобраться с оценками spamassassin'a и очками жалобщика (что с ними делать - складывать или умножать или еще что, а так же определить число, больше или меньше которого эта оценка для спамового письма быть не должна).

ToDO:

  • Поставить на "боевое дежурство".

  • Схематичный рисунок проекта находится в аттачменте Graphic1.cdr, и Graphic1.wmf

-- Elvira Vlasova - 23 Apr 2004
-- Yury Shevchuk - 05 May 2004

Show attachmentsHide attachments
Topic attachments
I Attachment Action Size Date Who Comment
elsecdr Graphic1.cdr manage 22.8 K 16 Nov 2004 - 16:26 Elvira Vlasova Рисунок проекта
elsewmf Graphic1.wmf manage 41.9 K 16 Nov 2004 - 16:27 Elvira Vlasova Рисунок проекта
Edit | WYSIWYG | Attach | Printable | Raw View | Backlinks: Web, All Webs | History: r21 < r20 < r19 < r18 < r17 | More topic actions
Clearmail.Complaint moved from Nadmin.Complaint on 06 May 2004 - 14:58 by Yury Shevchuk - put it back
 
Powered by TWiki

This site is powered by the TWiki collaboration platformCopyright © by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback