Conception d’agents LLMS/RAGS & MLOPS

——– SECTEUR AUDIT & CONSEIL ——–

Les enjeux de la mission sont de tirer parti des agents LLMs pour automatiser des processus métiers complexes tout en garantissant leur fiabilité, leur explicabilité et leur industrialisation à l’échelle. Les objectifs sont de concevoir un socle IA robuste, déployer des agents cognitifs en production, et structurer une démarche MLOps complète au sein d’une équipe Data Science.

Conception d’agents LLMS/RAGS & MLOPS

SECTEUR AUDIT & CONSEIL

Les enjeux de la mission sont de tirer parti des agents LLMs pour automatiser des processus métiers complexes tout en garantissant leur fiabilité, leur explicabilité et leur industrialisation à l’échelle. Les objectifs sont de concevoir un socle IA robuste, déployer des agents cognitifs en production, et structurer une démarche MLOps complète au sein d’une équipe Data Science.

Description de la mission

La mission consiste à concevoir et déployer des agents LLMs/RAGs adaptés à différents cas d’usage (Risk, Audit, IFRS), en développant des stratégies avancées d’indexation, de recherche et d’intégration de contenus multimodaux. Elle inclut la mise en place d’une infrastructure MLOps complète sur Azure, le pilotage technique d’une équipe de Data Scientists, et la structuration d’un socle IA mutualisé et industrialisable.

Contribution du consultant :
– Conception et déploiement d’agents LLMs/RAGs sur des cas d’usage complexes (Risk, Audit, MOA, IFRS)
– Définition de la stratégie d’indexation, de retrieval et d’intégration multimodale
– Mise en place de la stack MLOps (CI/CD, évaluation, déploiement)
– Co-construction du socle IA mutualisé avec les architectes
– Encadrement technique de l’équipe Data Science (4 personnes)

Démarche appliquée :
– Approche produit centrée sur les use cases métiers à forte valeur
– Méthodologie DSLP + Scrum pour structurer les développements
– Cycles itératifs : PoC → évaluation → industrialisation
– Séparation claire entre exploration, production et maintenance

Organisation de la mission :
– Intégré au sein du Lab IA de la DSI
– Collaboration transverse avec architectes, MOA, métiers et équipes MLOps
– Interaction continue avec le Program Management pour la sélection et la priorisation des use cases
– Animation hebdomadaire des rituels (stand-up, revue technique, grooming backlog)

Description de la mission

La mission consiste à concevoir et déployer des agents LLMs/RAGs adaptés à différents cas d’usage (Risk, Audit, IFRS), en développant des stratégies avancées d’indexation, de recherche et d’intégration de contenus multimodaux. Elle inclut la mise en place d’une infrastructure MLOps complète sur Azure, le pilotage technique d’une équipe de Data Scientists, et la structuration d’un socle IA mutualisé et industrialisable.

Contribution du consultant :

  • Conception et déploiement d’agents LLMs/RAGs sur des cas d’usage complexes (Risk, Audit, MOA, IFRS)
  • Définition de la stratégie d’indexation, de retrieval et d’intégration multimodale
  • Mise en place de la stack MLOps (CI/CD, évaluation, déploiement)
  • Co-construction du socle IA mutualisé avec les architectes
  • Encadrement technique de l’équipe Data Science (4 personnes)

Démarche appliquée :

  • Approche produit centrée sur les use cases métiers à forte valeur
  • Méthodologie DSLP + Scrum pour structurer les développements
  • Cycles itératifs : PoC → évaluation → industrialisation
  • Séparation claire entre exploration, production et maintenance

Organisation de la mission :

  • Intégré au sein du Lab IA de la DSI
  • Collaboration transverse avec architectes, MOA, métiers et équipes MLOps
  • Interaction continue avec le Program Management pour la sélection et la priorisation des use cases
  • Animation hebdomadaire des rituels (stand-up, revue technique, grooming backlog)
Périmètre technique

– Langages & Frameworks : Python, Haystack, LangGraph, LangChain, DSPy, Pydantic
– LLMs & RAG : Azure OpenAI (GPT-4o), Mistral, Llama 3.1, Tavily
– MLOps : Azure ML, Azure Durable Functions, Azure Blob Storage, Azure Kubernetes Service
– Multimodalité : GPT-4o, Azure OCR, YOLO, ColPali
– Environnement : Azure DevOps, Makefile, DevContainer, DSLP, IA Factory DSI

Périmètre technique
  • Langages & Frameworks : Python, Haystack, LangGraph, LangChain, DSPy, Pydantic
  • LLMs & RAG : Azure OpenAI (GPT-4o), Mistral, Llama 3.1, Tavily
  • MLOps : Azure ML, Azure Durable Functions, Azure Blob Storage, Azure Kubernetes Service
  • Multimodalité : GPT-4o, Azure OCR, YOLO, ColPali
  • Environnement : Azure DevOps, Makefile, DevContainer, DSLP, IA Factory DSI
Méthodes et outils utilisés

– Méthodes : ReAct, Multi-hop, Plan-Search-Respond, Scrum, TDD
– MLOps : CI/CD (Azure DevOps), tests (unit, intégration, E2E), pre-commit
– Indexation/RAG : embedding, hybrid retrieval, OCR, object detection
– Qualité : pre-commit (ruff, black, mypy, bandit, coverage), documentation standardisée

Méthodes et outils utilisés
  • Méthodes : ReAct, Multi-hop, Plan-Search-Respond, Scrum, TDD
  • MLOps : CI/CD (Azure DevOps), tests (unit, intégration, E2E), pre-commit
  • Indexation/RAG : embedding, hybrid retrieval, OCR, object detection
  • Qualité : pre-commit (ruff, black, mypy, bandit, coverage), documentation standardisée
Livrables réalisés

– Agents RAG déployés en production pour plusieurs cas d’usage métier
– Générateur automatique de rapports multirisques (textes + images)
– Pipelines d’évaluation avec métriques custom
– Codebase IA dédiée, isolée et industrialisée
– Documentation technique et fonctionnelle complète
– Tableau de bord de suivi des consommations LLMs

Livrables réalisés
  • Agents RAG déployés en production pour plusieurs cas d’usage métier
  • Générateur automatique de rapports multirisques (textes + images)
  • Pipelines d’évaluation avec métriques custom
  • Codebase IA dédiée, isolée et industrialisée
  • Documentation technique et fonctionnelle complète
  • Tableau de bord de suivi des consommations LLMs

NOS CLIENTS