Eigenes LLM: Erreichbarkeit und Fallback prüfen

Ein eigenes LLM konfigurierst du über OpenAI-kompatible Basisadresse, Modellname und API-Schlüssel. Die Modellwahl ändert den Betriebsort der Anwendung nicht.

Endpunkt einrichten und testen

Verwende die dokumentierte Basisadresse und den exakten Modellnamen. Die Anwendung hängt /chat/completions an. Teste die Verbindung in den Einstellungen mit fiktiven Eingaben vor echten Postfachdaten.

Lokales Ollama bietet etwa http://localhost:11434/v1. Diese Adresse funktioniert nur für Prozesse, die dieselbe Loopback-Schnittstelle erreichen. Der gehostete Dienst erreicht dein Laptop-Localhost nicht. Der aktuelle Produktionsschutz lehnt private und Loopback-Adressen in eigenen Endpunkteinstellungen ab. Veröffentliche keinen ungeschützten Modellserver als Umgehung.

Fallback neben der Modellwahl prüfen

Der aktuelle Code kann den konfigurierten Standardanbieter als Fallback an einen eigenen Endpunkt anhängen. Eine fehlgeschlagene Anfrage kann daher andernorts versucht werden. Die Modellwahl beweist keine ausschließliche Verwendung dieses Modells.

Für rein lokale Verarbeitung musst du Bereitstellung, Modell, vollständige Anbieterkette und tatsächliche ausgehende Anfragen prüfen – auch bei einem simulierten Ausfall mit Beispieldaten. Eine lokale API kann außerdem Ollama-Cloud-Modelle bereitstellen. Prüfe das tatsächliche Modell statt nur die URL.

Kategorien nach Modelländerungen prüfen

Der Klassifizierer nutzt Absender, Betreff und einen begrenzten Textausschnitt. Er wählt eine Kategorie oder keine. Prüfe passende, ausgeschlossene und unklare Beispiele nach einem Modellwechsel. Diese Seite bietet keine gemessene Genauigkeitsrangliste von Anbietern.

Siehe Ollama-Anleitung, private Sortierung und Absenderkategorien.