E-Mails lokal sortieren mit Ollama und AI Email Filter

TL;DR. Installiere Ollama, lade ein kleines Instruct-Modell und trage bei AI Email Filter unter Bring Your Own LLM http://localhost:11434/v1 als Endpoint ein. Die Klassifizierung läuft danach vollständig auf deiner eigenen Hardware — es geht kein E-Mail-Inhalt an einen Drittanbieter.

Weitere Artikel: Eigenes LLM · Self-hosted E-Mail-Sortierung

Wenn du bereits deinen eigenen Mailserver betreibst, widerspricht es sich etwas, für jede Klassifizierung Betreffzeile und Absenderadresse an eine Cloud-KI zu schicken. Genau das löst Ollama: Es stellt eine OpenAI-kompatible API auf deinem eigenen Rechner bereit, und AI Email Filter kann darüber direkt mit der BYO-LLM-Einstellung sprechen. Dieser Beitrag zeigt das komplette Setup.

Warum lokal klassifizieren

AI Email Filter klassifiziert E-Mails anhand von Betreff, Absender und einer kurzen Textvorschau. Bei einem gehosteten Modell gehen diese Daten an den jeweiligen Anbieter. Mit Ollama verlassen sie die Maschine nicht, auf der sie läuft. Der Kompromiss ist Geschwindigkeit und rohe Klassifizierungsqualität gegenüber einem grossen gehosteten Modell — für das Einsortieren von Mails anhand einer klaren Prompt-Beschreibung reicht ein kleines lokales Modell aber meistens völlig aus, und einen falsch eingeordneten Absender neu zu kategorisieren dauert unabhängig vom Modell nur einen Klick.

Der zweite Grund ist Kosten. Ein lokales Modell hat keine Kosten pro Token. Läuft Ollama auf Hardware, die du sowieso schon besitzt, ist die Klassifizierung nach dem Setup praktisch gratis.

Schritt 1: Ollama installieren

Unter Linux oder macOS:

curl -fsSL https://ollama.com/install.sh | sh

Unter Windows lädst du den Installer von ollama.com/download. In beiden Fällen installiert sich Ollama als Hintergrunddienst und lauscht automatisch auf localhost:11434 — ollama serve musst du normalerweise nicht manuell aufrufen, ausser du hast den Dienst gestoppt und willst ihn zum Debuggen im Vordergrund laufen lassen:

ollama serve

Prüfe, ob es läuft:

curl http://localhost:11434/api/tags

Eine leere Antwort {"models":[]} bedeutet: Ollama läuft, aber du hast noch kein Modell geladen.

Schritt 2: Ein Modell für die Klassifizierung laden

E-Mail-Klassifizierung ist eine kleine, klar umrissene Aufgabe — Absender, Betreff und eine kurze Vorschau werden gegen eine Kategoriebeschreibung geprüft. Dafür braucht es kein grosses Modell. Kleine Instruct-Modelle sind schnell, genügsam beim Arbeitsspeicher und genau genug:

ollama pull qwen2.5:3b-instruct
# oder
ollama pull llama3.2:3b
# oder, für den kleinsten Fussabdruck
ollama pull phi3:mini

qwen2.5:3b-instruct und llama3.2:3b laufen problemlos auf einer Maschine mit 8 GB RAM ohne GPU; phi3:mini ist noch kleiner und eine sinnvolle Wahl auf schwächerer Hardware wie einem Raspberry Pi 5 oder einem alten Laptop, der als Homeserver dient. Mit GPU oder wenn dir eine etwas langsamere Klassifizierung nichts ausmacht, ist ein Modell der 7B-Klasse (z. B. qwen2.5:7b-instruct oder mistral:7b) meist genauer beim Unterscheiden ähnlicher Kategorien.

Prüfe, ob der Download geklappt hat:

ollama list

Schritt 3: AI Email Filter mit Ollama verbinden

In den Einstellungen von AI Email Filter öffnest du den Bereich für den LLM-Anbieter und wählst die Option für einen eigenen bzw. OpenAI-kompatiblen Endpoint. Trage ein:

• Base URL: http://localhost:11434/v1
• Modell: genau der Tag, den du geladen hast, z. B. qwen2.5:3b-instruct
• API-Key: Ollama prüft diesen nicht, ein Platzhalterwert reicht — das Feld lässt sich aber meist nicht leer lassen

Das ist derselbe BYO-LLM-Mechanismus, den AI Email Filter auch für einen gehosteten OpenAI-kompatiblen Endpoint verwendet — Ollama bietet lokal nur dieselbe API-Form an.

Ein Netzwerkdetail, das oft stolpert: localhost zeigt nur dann auf Ollama, wenn AI Email Filter auf derselben Maschine läuft. Läuft AI Email Filter in einem Container oder auf einem anderen Host als Ollama, verwende stattdessen die LAN-IP oder den Hostnamen der Maschine, sorge dafür, dass Ollama auf 0.0.0.0 statt nur auf dem Loopback-Interface lauscht, und dass deine Firewall die Verbindung auf Port 11434 zulässt.

Schritt 4: Erst testen, dann vertrauen

Führe einen Testlauf mit ein paar echten E-Mails durch und vergleiche die Ergebnisse mit deinen Kategoriebeschreibungen, bevor du destruktive Aktionen aktivierst. Kleine Modelle reagieren empfindlicher auf vage Kategorie-Prompts als grosse gehostete Modelle — überschneiden sich zwei Kategorien (“Arbeit” und “Projekt X”), verwischt ein 3B-Modell die Grenze eher als ein GPT-4-Klasse-Modell. Eine schärfere Kategoriebeschreibung löst das meist schneller als ein Modellwechsel.

Absender-Smart-Categories helfen hier zusätzlich: Ist ein Absender einmal korrekt eingeordnet, wird diese Entscheidung gespeichert — das lokale Modell muss also nur einmal pro Absender richtig liegen, nicht bei jeder einzelnen E-Mail.

Was du davon hast

Mit Ollama als Backend verlässt der Klassifizierungsschritt von AI Email Filter nie deine eigene Infrastruktur. Kombiniert mit einem selbst gehosteten Mailserver schliesst das die letzte Lücke, an der E-Mail-Metadaten sonst bei einem Dritten landen würden — wie sich das in ein vollständig selbst betriebenes Setup einfügt, zeigt Self-hosted E-Mail-Sortierung. Welche anderen Endpoints dieselbe Einstellung sonst noch unterstützt, falls du dich später doch für ein gehostetes Modell entscheidest, steht bei Eigenes LLM.

Die Modellwahl ist auch nicht in Stein gemeisselt. Reicht ein kleines Modell für eine schwierige Kategorie nicht aus, lädst du einfach ein grösseres und trägst es im Modellfeld ein — sonst ändert sich an der Konfiguration nichts.

Ollama zuverlässig am Laufen halten

Ein paar Betriebsdetails sind wichtig, wenn dieses Setup unbeaufsichtigt zuverlässig weiterlaufen soll:

• Entladen bei Inaktivität. Standardmässig entlädt Ollama ein Modell nach ein paar Minuten Inaktivität aus dem Speicher und lädt es bei der nächsten Anfrage neu, was die erste Klassifizierung nach einer Pause etwas verzögert. Falls das stört, setze OLLAMA_KEEP_ALIVE=-1 (oder eine längere Dauer) als Umgebungsvariable vor dem Start des Dienstes, damit das Modell geladen bleibt.
• Gleichzeitige Anfragen. Klassifiziert AI Email Filter mehrere E-Mails auf einmal, verarbeitet Ollama sie gemäss der konfigurierten Parallelität (OLLAMA_NUM_PARALLEL), die auf reinen CPU-Setups standardmässig klein ist. Für ein privates Postfach ist das selten ein Flaschenhals, bei einem gemeinsam genutzten Postfach mit hohem Volumen lohnt sich ein Blick darauf.
• Modell aktualisieren. Ein erneutes ollama pull <modell> lädt ohne Zusatzschritte die neueste Version eines Tags nach — praktisch, wenn ein Modell, auf das du dich verlässt, ein Update bekommt.

Das ist alles kein AI-Email-Filter-Spezifikum, sondern normaler Ollama-Betrieb — aber genau der Teil, auf den man meist erst stösst, nachdem das erste Setup funktioniert und man es im Alltag tatsächlich nutzt.