Order Intelligence: LLM-Klassifizierung für 40k+ B2B-Aufträge/Tag
Automatische Kategorisierung eingehender B2B-Aufträge mit 94% Genauigkeit, von 11h manueller Arbeit auf 8 Minuten reduziert.
Ausgangslage
Cipher AI wickelte täglich über 40.000 B2B-Aufträge ab — eingehend über E-Mail, EDI und unstrukturierte PDFs. Drei Vollzeit-Operations-Mitarbeiter verbrachten zusammen 11 Stunden am Tag damit, jeden Auftrag in eines von 47 internen Klassifizierungs-Buckets einzusortieren. Fehlerquote: 4–6%, Folgekosten im fünfstelligen Bereich pro Monat.
Unser Ansatz
Statt eines klassischen ML-Klassifikators mit teurer Labeling-Pipeline haben wir Retrieval-Augmented Classification gebaut: Embeddings aller historischen Aufträge in pgvector, plus ein LLM-Call mit den Top-5 ähnlichsten Beispielen als Few-Shot-Kontext. Keine Model-Training-Zyklen nötig — das System lernt durch neue Einträge in der Vector-DB.
Architektur
- FastAPI Service mit asynchroner Queue für Batch-Processing
- pgvector als Retrieval-Layer direkt in PostgreSQL (keine separate Vector-DB)
- Claude Sonnet als Classifier mit strukturiertem JSON-Output
- Confidence-Routing: unter 85% Confidence → manueller Review, automatische Re-Training-Loops
- Next.js Dashboard für Operations-Team mit Live-Metriken + Override-Funktion
Ergebnis
Nach 7 Wochen in Production: 94% Genauigkeit (vs. 94–96% manuell), 98% Reduktion der manuellen Arbeit, 40k Aufträge/Tag stabil. ROI nach 4 Monaten erreicht.
Was wir gelernt haben
Retrieval-first-Architekturen schlagen Feintuning bei domänen-spezifischen Klassifikationsaufgaben fast immer — weniger Infrastruktur, schnellere Iteration, und jede neue Kategorie funktioniert ohne Retraining.