Smista le email in locale con Ollama e AI Email Filter

TL;DR. Installa Ollama, scarica un piccolo modello instruct, e collega l’impostazione Il tuo LLM di AI Email Filter a http://localhost:11434/v1. La classificazione gira così interamente sul tuo hardware — nessun contenuto email viene inviato a un’API di terze parti.

Approfondimenti correlati: Il tuo LLM · Smistamento email self-hosted

Se gestisci già un tuo server di posta, inviare ogni oggetto e indirizzo mittente a un LLM cloud per la classificazione vanifica metà del senso del self-hosting. Ollama risolve il problema: esegue un’API compatibile con OpenAI sulla tua macchina, e AI Email Filter può parlarci direttamente tramite la sua impostazione Il tuo LLM. Questo articolo ripercorre tutto il setup dall’inizio alla fine.

Perché eseguire il classificatore in locale

AI Email Filter classifica la posta usando oggetto, mittente e una breve anteprima del corpo. Con un modello ospitato, quei dati vanno al provider che scegli. Con Ollama, non lasciano la macchina su cui gira. Il compromesso è velocità e qualità di classificazione grezza rispetto a un grande modello ospitato — ma per smistare la posta in cartelle in base a un prompt chiaro, un piccolo modello locale è di solito più che sufficiente, e ricategorizzare un mittente su cui non sei d’accordo richiede un clic, indipendentemente da quale modello ha fatto la scelta.

L’altro motivo per farlo: il costo. Un modello locale non ha una bolletta per token. Se esegui Ollama su hardware che già possiedi, la classificazione è di fatto gratuita dopo il setup.

Passo 1: installa Ollama

Su Linux o macOS:

curl -fsSL https://ollama.com/install.sh | sh

Su Windows, scarica l’installer da ollama.com/download. In entrambi i casi, Ollama si installa come servizio in background e inizia ad ascoltare automaticamente su localhost:11434 — di solito non devi eseguire ollama serve manualmente, a meno che tu non abbia fermato il servizio e voglia eseguirlo in primo piano per il debug:

ollama serve

Verifica che sia attivo:

curl http://localhost:11434/api/tags

Una risposta vuota {"models":[]} significa che Ollama è in esecuzione ma non hai ancora scaricato nessun modello.

Passo 2: scarica un modello adatto alla classificazione

La classificazione email è un compito piccolo e ben definito — mittente, oggetto e una breve anteprima, confrontati con una descrizione di categoria. Non ti serve un modello grande per questo. I piccoli modelli instruct sono veloci, leggeri sulla RAM e abbastanza accurati per il lavoro:

ollama pull qwen2.5:3b-instruct
# oppure
ollama pull llama3.2:3b
# oppure, per l'ingombro più leggero
ollama pull phi3:mini

Sia qwen2.5:3b-instruct che llama3.2:3b girano comodamente su una macchina con 8GB di RAM e senza GPU; phi3:mini è ancora più piccolo ed è una scelta ragionevole su hardware più limitato come un Raspberry Pi 5 o un vecchio portatile riadattato a server domestico. Se hai una GPU o non ti dispiace una classificazione più lenta, un modello instruct di classe 7B (es. qwen2.5:7b-instruct o mistral:7b) sarà in genere più accurato nel distinguere categorie simili.

Conferma che il modello sia stato scaricato:

ollama list

Passo 3: collega AI Email Filter a Ollama

Nelle impostazioni di AI Email Filter, apri la sezione del provider LLM e scegli l’opzione endpoint personalizzato/compatibile con OpenAI. Imposta:

• URL base: http://localhost:11434/v1
• Modello: il tag esatto che hai scaricato, es. qwen2.5:3b-instruct
• Chiave API: Ollama non la verifica, quindi va bene qualsiasi valore segnaposto — ma il campo di solito non può restare vuoto

Questo è lo stesso meccanismo Il tuo LLM che AI Email Filter usa per un endpoint ospitato compatibile con OpenAI; Ollama espone semplicemente la stessa forma di API in locale.

Un dettaglio di rete su cui molti inciampano: localhost risolve verso Ollama solo se AI Email Filter gira sulla stessa macchina. Se AI Email Filter gira in un container o su un host diverso da Ollama, usa l’IP LAN o l’hostname della macchina invece di localhost, e assicurati che Ollama sia configurato per ascoltare su 0.0.0.0 invece che solo sull’interfaccia di loopback, e che il tuo firewall permetta la connessione sulla porta 11434.

Passo 4: testa prima di fidarti

Esegui un test in modalità anteprima su una manciata di email reali e verifica i risultati rispetto alle tue descrizioni di categoria prima di attivare qualsiasi azione distruttiva. I modelli piccoli sono più sensibili a prompt di categoria vaghi rispetto a quelli grandi ospitati — se due categorie si sovrappongono (“Lavoro” e “Progetto X”), un modello da 3B ha più probabilità di confondere il confine rispetto a modelli di classe GPT-4. Restringere la descrizione della categoria di solito risolve più in fretta che cambiare modello.

Anche le Categorie Smart Mittente aiutano qui: una volta che un mittente è classificato correttamente, quella decisione viene messa in cache, quindi il modello locale deve azzeccarla solo una volta per mittente invece che su ogni singola email.

Cosa ci guadagni

Con Ollama come backend, il passaggio di classificazione di AI Email Filter non lascia mai la tua infrastruttura. Combinato con un server di posta self-hosted, questo chiude l’ultimo varco per cui i metadati email toccherebbero altrimenti una terza parte — vedi smistamento email self-hosted per come questo si inserisce in una configurazione completamente autogestita, e Il tuo LLM per gli altri endpoint che questa stessa impostazione supporta se in futuro decidi che un modello ospitato è un compromesso migliore.

Anche la scelta del modello non è bloccata. Se un modello piccolo non è abbastanza accurato per una categoria complicata, scaricane uno più grande e reindirizza il campo del modello — nessun’altra modifica alla configurazione.

Mantenere Ollama in esecuzione in modo affidabile

Un paio di dettagli operativi contano se vuoi che questa configurazione continui a funzionare senza sorveglianza:

• Scaricamento in caso di inattività. Per impostazione predefinita, Ollama scarica un modello dalla memoria dopo qualche minuto di inattività e lo ricarica alla richiesta successiva, il che aggiunge un breve ritardo alla prima classificazione dopo un periodo di quiete. Se questo ritardo conta, imposta OLLAMA_KEEP_ALIVE=-1 (o una durata più lunga) come variabile d’ambiente prima di avviare il servizio per tenere il modello residente in memoria.
• Richieste concorrenti. Se AI Email Filter classifica un gruppo di email in una volta sola, Ollama le elabora secondo il suo parallelismo configurato (OLLAMA_NUM_PARALLEL), che per impostazione predefinita è un numero piccolo su configurazioni solo CPU. Per una casella personale è raramente un collo di bottiglia; per una inbox condivisa ad alto volume, vale la pena controllarlo.
• Aggiornare il modello. Rieseguire ollama pull <model> scarica l’ultima versione di un tag senza passaggi extra — utile se un modello su cui fai affidamento riceve una release aggiornata a monte.

Niente di tutto questo è specifico per AI Email Filter — è normale funzionamento di Ollama — ma è la parte che di solito si incontra solo dopo che il setup iniziale funziona e si inizia a farci affidamento giorno per giorno.