Évaluation, sécurité et observabilité des applications LLM — formateur ou formatrice, région Dakhla Oued Ed Dahab

Votre rôle chez FormaGroup

Vous accompagnerez des ingénieurs IA, des développeurs d’applications LLM, des responsables techniques et des équipes de mise en production. La mission consiste à rendre les participants capables d’évaluer la qualité et la robustesse des réponses, de prévenir les risques de sécurité et de structurer le suivi d’une application en production. Les sessions peuvent être proposées en présentiel ou à distance.

Missions confiées

1. 1Animer des séquences sur les risques et les modes de défaillance des applications LLM, en reliant les notions abordées à des situations concrètes de conception et de mise en production.
2. 2Guider les participants dans la création de jeux de tests représentatifs et de jeux de référence, puis les aider à mesurer la pertinence, la fidélité et la robustesse des réponses.
3. 3Faire pratiquer l’évaluation des réponses et des systèmes RAG, en explicitant les méthodes de contrôle et les limites à documenter.
4. 4Encadrer des exercices de détection d’injection de prompt et de filtrage des entrées, ainsi que des mises en situation portant sur la protection des données et le contrôle des sorties.
5. 5Présenter les principes de traçage et d’observabilité, puis accompagner la définition de traces et d’indicateurs utiles au suivi des usages et des versions.
6. 6Faire élaborer un plan de mise en production et une procédure d’incident adaptés aux risques identifiés pour une application LLM.

Programme de formation à animer

Une maîtrise pédagogique des thèmes suivants est attendue :

Public à former

Approche pédagogique attendue

• Vous alternerez explications structurées et cas pratiques afin de relier les risques des applications LLM aux décisions de conception et d’exploitation.
• Vous ferez construire aux participants des jeux de tests et des jeux de référence, puis les guiderez dans l’analyse de la pertinence, de la fidélité et de la robustesse des réponses.
• Vous proposerez des exercices appliqués sur l’injection de prompt, le filtrage des entrées, la protection des données et le contrôle des sorties.
• Vous accompagnerez les participants dans la définition de traces, d’indicateurs et de contrôles pour suivre les usages et les versions.
• Vous ferez formaliser un plan de mise en production, les limites de l’application et une procédure de gestion des incidents.

Profil recherché

• Vous disposez d’une expertise confirmée en évaluation, sécurité et observabilité des applications LLM, notamment sur la qualité des réponses, les risques d’injection et la protection des données.
• Vous êtes en mesure d’enseigner la conception de jeux de tests, l’évaluation des systèmes RAG, le suivi des versions et la mise en place d’indicateurs en production.
• Vous avez une expérience de la formation d’adultes et savez expliquer des sujets techniques à des ingénieurs IA, développeurs, responsables techniques et équipes de mise en production.

Atouts appréciés

• Une pratique de la préparation de plans de mise en production et de procédures d’incident pour des applications LLM serait utile pour enrichir les exercices proposés.

Disponibilité et mobilité

Compétences clés

Mots-clés de l’offre