Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 1

SpamAssassin

Spam Assassin

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 2

SpamAssassin

Ausgangslage

• Pro Tag empfangen die zentralen Mail-Gateways der Universität ca. 200’000 E-Mails

• Davon werden über 70% als SPAM erkannt

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 3

SpamAssassin

Ausgangslage

• Seit einigen Jahren sind auf den zentralen Mailgates der Uni SPAM-Blocker (SPAM-Listen) installiert

• Diese SPAM-Blocker (MAPs und SpamCop) sind Listen mit IP-Adressen, von denen aus entweder gar keine E-Mails frei ins Internet verschickt werden dürfen (ISP-Bereiche, E-Mails nur über Mailhost des Providers) oder IP-Adressen, von denen bereits SPAM verschickt wurde.

• Diese Massnahmen erkennen immerhin die oben erwähnten 70% SPAM und filtern sie aus dem Mailverkehr der Uni.

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 4

SpamAssassin

Ca. 220’000 E-Mails pro TagCa. 150 - 160’000 abgewiesene SPAMs

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 5

SpamAssassin

Probleme

• Falsch Negative:SPAM Produzenten entwickeln immer bessere Methoden, die bekannten SPAM-Listen zu umgehen/überlisten

• Falsch Positive:Die SPAM-Listen überprüfen nur die Absender-IP-Adresse. D.h., dass alle E-Mails von einer geblockten Adresse abgelehnt werden. Dies führt, z.B. wenn die Mailserver des MIT, von GMX oder SwissOnline auf den SPAM-Listen erscheinen, zu falsch als SPAM deklarierten E-Mails (False Positives)

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 6

SpamAssassin

Feedback

• Immer mehr SPAMS kommen durch die Filter

• Zu viele Falsch Positive (z.B. MIT ist ab und zu auf den Listen)

• Gerade richtig

• Kein zentrales Filtern

• Zentrales Filtern

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 7

SpamAssassin

Die Lösung

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 8

SpamAssassin

Die Lösung

• Nicht KEIN sondern BESSERES zentrales Filtern

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 9

SpamAssassin

Die Lösung

• Nicht mehr nur IP-Adressen basiertes Filtern sondern Berücksichtigung von diversen anderen Parametern bei der Bewertung:

o Content Filtering

o Lernen

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 10

SpamAssassin

Probleme

• Problematisch beim Content Filtering sind die unterschiedlichen Anforderungen der sehr heterogenen Benutzerschaft der Universität:

Viagra: für 90% SPAM aber es gibt auch Pharmakologen und Mediziner

Viele $ in E-Mails: für 90% Werbung aus den USAaber es gibt auch Programmierer

Socken, Silberbesteck: für 90% Werbungaber es gibt eventuell Marketing Analysten, die Untersuchungen über SPAMs machen

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 11

SpamAssassin

Die Lösung

• Nach einer eher entäuschenden Evaluation eines sehr teuren kommerziellen Systems habe sich die ID entschlossen, das OpenSource Produkt SpamAssassin zu evaluieren.

• SpamAssassin erfüllt sehr viele der von uns gestellten Anforderungen, ist gratis und passt ausgezeichnet in das E-Mail Konzept der Universität

o Hoch verfügbar und skalierbaro Content Filteringo Lernfähigo Diverse Einstellungen pro Pro User möglicho LDAP Authentifizierung

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 12

SpamAssassin

Vorteile von SpamAssassin

SpamAssassin arbeitet mit einem Punkte System. E-Mails durchlaufen diverse Analysemodule und erhalten von jedem Modul eine Anzahl Punkte, die sich pro E-Mail aufsummieren.

Punkte z.B. für:

• SPAM-Listen• Spezifische Header Informationen• Verdächtigen Content• HTML Code• u.a.

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 13

SpamAssassin

Das Interface

Um möglichst viele Benutzeranforderungen zu erfüllen, stellen die ID allen Benutzern ein Interface zur Verfügung, mit dem persönliche SPAM-Einstellungen gemacht werden können.

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 14

SpamAssassin

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 15

SpamAssassin

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 16

SpamAssassin

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 17

SpamAssassin

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 18

SpamAssassin

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 19

SpamAssassin

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 20

SpamAssassin

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 21

SpamAssassin

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 22

SpamAssassin

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 23

SpamAssassin

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 24

SpamAssassin

Universität Zürich

Informatikdienste

25.04.06 Go Koordinatorenmeeting 27. April 2006 25

SpamAssassin

Einführung von SpamAssassin

• Für Benutzer möglichst transparent

• Default bleibt wie bisher nur SPAM-Listen

• Benutzer können ihre Konfigurationen selbst testen

• Aber! Absender können nicht über gelöschte E-Mails informiert werden

• Vor Einführung genaue Informationen an IT-Verantwortliche und Benutzer

• Termin vorraussichtlich im Juni