Parcours
Le formateur a travaillé sur l’évaluation de systèmes RAG et LLM, ainsi que sur le monitoring d’applications agentiques. Son expérience comprend l’usage de métriques d’évaluation, l’analyse de la fidélité des réponses, la supervision de latence et d’erreurs, ainsi que les traces LLM avec Langfuse.
Cette page s’adresse aux équipes IA qui disposent déjà d’un prototype ou d’une application LLM et souhaitent mieux en évaluer le comportement. L’approche permet de distinguer les problèmes de retrieval, de contexte, de prompt, de modèle ou d’appel d’outil afin de prioriser les améliorations techniques.
Une formation type alterne cadrage des critères de qualité, préparation de jeux de tests, analyse de traces et lecture de résultats. Les participants peuvent définir des indicateurs pertinents pour leur cas d’usage, examiner les limites des évaluations automatisées et formaliser une démarche de suivi dans le temps.
Domaines d’expertise
- Évaluation RAG
- Évaluation LLM
- Ragas
- Faithfulness
- Langfuse
- Observabilité LLM
- Analyse de latence
- Traçabilité des erreurs
Certifications et références
- Databricks Generative AI Engineer – Associate
- Dataiku MLOps / Generative AI Practitioner
Approche pédagogique
- 1Identification des risques et critères de qualité
- 2Constitution de cas de test représentatifs
- 3Mise en place d’indicateurs d’évaluation
- 4Lecture de traces, erreurs et temps de réponse
- 5Analyse collective des résultats
- 6Définition d’actions d’amélioration
Publics accompagnés
- Ingénieurs IA
- Data scientists
- Développeurs LLM
- Responsables produit technique
Secteurs d’intervention
Ses 11 formations
Formation évaluation, sécurité et observabilité des LLM
Mesurez la qualité des réponses LLM et rendez les comportements de vos applications plus observables.
Formation NLP appliqué aux données textuelles avec Python
Transformez des textes, logs ou documents en informations exploitables avec les méthodes du NLP.
Formation deep learning appliqué à la vision par ordinateur
Concevez et évaluez des modèles de vision par ordinateur pour extraire de l’information à partir d’images.
Formation MLOps et déploiement de modèles de machine learning
Passez du prototype data au service IA déployable, testable et maintenable.
Formation conception et orchestration d’agents IA
Structurez des agents IA capables d’appeler des outils et d’exécuter des workflows métiers contrôlés.
Formation développement d’applications RAG avec LangChain
Développez des applications RAG capables de répondre à partir de données métier fiables et contextualisées.
Formation Git et GitHub pour équipes de développement
Adoptez des pratiques Git claires pour versionner, relire et intégrer le code au sein d’une équipe.
Formation machine learning avec Python pour équipes data
Construisez, évaluez et interprétez des modèles de machine learning adaptés à des problèmes métier concrets.
Formation Python pour l’analyse de données des analystes
Passez de fichiers de données bruts à des analyses reproductibles avec Python, Pandas et des visualisations utiles.
Formation prompt engineering avancé pour développeurs IA
Apprenez à concevoir des instructions précises, testables et adaptées à des applications IA professionnelles.
Formation Azure AI et IA générative pour équipes techniques
Développez des applications d’IA générative robustes avec Azure AI, LLM, RAG et architectures agentiques.
Ce formateur correspond à votre projet ? FormaGroup vous met en relation et organise la formation : programme, dates, lieu ou classe virtuelle.
Contacter le formateur