Assistant IA on-premise — Plateforme juridique

De février à septembre 2026, j'ai été AI Engineer en freelance pour une plateforme de gestion de dossiers juridiques (client confidentiel), au sein d'une équipe de 5 personnes : un tech lead, 2 développeurs et 2 chefs de projet. Ma mission : concevoir et mettre en production l'assistant IA de la plateforme. Contraintes : • Déploiement 100 % on-premise : aucune donnée ne quitte l'infrastructure du client • Serveur CPU uniquement (16 cœurs, sans GPU) • Intégration dans un back-end Symfony existant • Données juridiques sensibles : contrôle d'accès et sécurité au premier plan

L'assistant repose sur une passerelle FastAPI intégrée au back-end Symfony de la plateforme. Stack technique : • LLM : Ollama avec des modèles Qwen, choisis après benchmark sous contrainte CPU • Recherche hybride : Qdrant (vectoriel) + Elasticsearch (lexical) • Traitements asynchrones : Celery + Redis • Réponses en streaming SSE • Monitoring : Prometheus / Grafana Qualité et sécurité : • Garde-fous anti-injection de prompt • Contrôle d'accès par rôle • Circuit breaker pour isoler les pannes des services en aval

Chaque question passe d'abord par un pré-routeur déterministe, puis par un routage LLM lorsque c'est nécessaire, vers des agents spécialisés : • Agent documentaire — analyse des documents des dossiers • Agent statistiques — indicateurs multi-tenant, cloisonnés par client de la plateforme • Agent assistant — questions générales sur la plateforme Agent documentaire : • Pipeline asynchrone avec reprise sur incident • Chunking structurel qui respecte l'organisation des documents • Synthèse map-reduce en sorties typées • Chaque information est sourcée à la page

Les choix techniques ont été validés par la mesure plutôt qu'à l'intuition. Démarche d'évaluation : • Golden set de 30 questions représentatives des usages réels • Benchmark de 3 LLM pour choisir le modèle Résultats : • Le pré-routeur déterministe choisit le bon agent dans 85 % des cas, contre 52 % avec le LLM seul • Le score sur le golden set est passé de 77 % à 93 % • Plus de 1 000 tests, 87 % de couverture de code