Mission de formation en évaluation, sécurité et observabilité LLM — Région Rabat Salé Kénitra

Villes concernées

Votre rôle chez FormaGroup

Cette mission consiste à accompagner des équipes techniques dans la conception, le test et le suivi d’applications utilisant des modèles de langage. Les interventions peuvent être proposées en présentiel ou à distance, auprès d’entreprises et de particuliers dans la région.

Missions confiées

1. 1Présenter les risques et les modes de défaillance des applications LLM, puis aider les participants à identifier les situations à tester dans leurs propres projets.
2. 2Guider la conception de jeux de tests et de jeux de référence adaptés aux usages, afin d’évaluer la pertinence, la fidélité et la robustesse des réponses.
3. 3Animer des exercices d’évaluation de réponses et de systèmes RAG, en faisant expliciter les critères retenus et les limites observées.
4. 4Faire travailler les participants sur l’injection de prompt, le filtrage des entrées, la protection des données et le contrôle des sorties.
5. 5Expliquer comment mettre en place des traces et des indicateurs pour assurer l’observabilité en production et suivre les versions d’une application.
6. 6Encadrer la préparation d’un plan de mise en production et la documentation d’une procédure d’incident, y compris les contrôles à effectuer.

Programme de formation à animer

Une maîtrise pédagogique des thèmes suivants est attendue :

Public à former

Approche pédagogique attendue

• Construire les séquences autour de cas concrets de défaillance, de risques de divulgation et de besoins de contrôle propres aux applications LLM.
• Faire concevoir aux participants un jeu de tests représentatif et un jeu de référence, puis leur faire mesurer la pertinence, la fidélité et la robustesse des réponses.
• Proposer des exercices guidés sur l’injection de prompt, le filtrage des entrées, la protection des données et le contrôle des sorties.
• Prévoir des mises en pratique sur le traçage, les indicateurs d’usage et le suivi des versions en production.
• Faire documenter les limites des systèmes et élaborer un plan de mise en production ainsi qu’une procédure d’incident.

Profil recherché

• Vous disposez d’une expertise confirmée en évaluation, sécurité et observabilité des applications LLM, et pouvez relier les notions enseignées à des situations de mise en production.
• Vous savez enseigner les tests représentatifs, la mesure de la qualité des réponses et l’évaluation des systèmes RAG à des profils techniques.
• Vous maîtrisez les risques d’injection de prompt et de divulgation de données, ainsi que les approches de filtrage et de contrôle des sorties.
• Vous avez une expérience de la formation d’adultes et savez rendre accessibles des sujets techniques par des explications structurées et des exercices guidés.

Disponibilité et mobilité

Compétences clés

Mots-clés de l’offre