Stage - Evaluation IA Responsable et Observabilité des agents IA F/H
Il y a 6 heures
Châtillon, Ile-de-France
Orange SA
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Publication date : Oct 28, 2026, 1:16PM
Contract duration : 6 months
Les systèmes d’IA agentique peuvent produire des recommandations, prendre des décisions intermédiaires et mobiliser différents outils de manière autonome. Les risques IA Responsable associés sont amplifiés et nécessitent le renforcement de la gouvernance associée. Les plateformes agentique proposent des outils d’observabilité à destination de l’équipe technique de développement mais aussi aux personnes en charge de la supervision humaine après déploiement.
Ce stage vise à étudier les outils et méthodologies d’évaluation et d’observabilité IA Responsable pour permettre aux personnes en charge de la supervision d’exercer leur contrôle. A partir de cas d’usage et de scénarios de risque, le stage vise à produire un prototype pour démontrer la méthode proposée
1. État de l’art et cadrage technique, comprenant notamment :
· L’état de l’art sur le sujet du contrôle humain (Human Oversight) et les enjeux des systèmes IA Agentique
· L’étude des méthodes d’évaluation IA Agentique Responsable et la sélection d’outils pertinents
· La découverte des cas d’usage d’Orange notamment dans le domaine de la relation client et de l’exploitation réseau 2. Développement d’un prototype, comprenant notamment :
· La conception et l’implémentation, en Python, d’un prototype d’agent d’analyse, éventuellement orchestré avec LangGraph ou un outil équivalent ;
· La mise en place des outils d’évaluations IA Responsable identifiés et de l’observabilité associées ; La présentation des résultats pour un superviseur expert métier. Formation souhaitée:
• Etudiant(e) en dernière année d’école d’ingénieur ou en Master 2, spécialisé(e) en IA, informatique et data science Compétences et qualités personnelles recherchées:
• Très bonne maîtrise de Python et des structures de données.
• Bonne connaissance des LLM, des systèmes agentiques et de l’orchestration de workflows.
• Une expérience avec LangGraph, LangChain, Langsmith ou un outil équivalent est appréciée.
• Intérêt pour l’expérimentation, les protocoles de test et l’évaluation des systèmes d’IA.
• Une sensibilité aux enjeux de l’IA responsable (biais, transparence, impact environnemental...)
• Vous êtes capable de mener un projet de bout en bout, en étant force de proposition et autonome.
• Vous faites preuve de rigueur, d’analyse critique et d’un bon sens de l’organisation.
• Vous êtes enthousiaste, curieux, et prêt à vous remettre en question pour progresser.
• Vous travaillerez sur un sujet d’actualité, au croisement de l’IA agentique, de l’analyse des usages et du l’interaction humaine. Ce stage vous permettra de développer vos compétences dans ces domaines et de vous familiariser avec des outils récents, tels que les LLM et LangGraph.
• Vous évoluerez au sein d’une équipe et serez amené(e) à collaborer avec différents interlocuteurs tout au long du projet.
• Vous pourrez valoriser vos travaux lors de présentations internes et, selon les opportunités, de présentations externes.
• Les résultats du stage pourront contribuer à alimenter plusieurs autres projets de recherche et développement. Au sein de la direction Data & IA dont l’ambition est de porter plus loin l’innovation d’Orange et de renforcer son leadership technologique, vous intégrez une équipe formée de data scientists, de chercheurs et de chefs de projets en charge sur la gouvernance IA. Cette équipe est spécialisée dans les domaines de la Data Science, de l’IA Agentique et de régulation des technologies d’intelligence artificielles. Elle met à profit des techniques d’IA agentique artificielle sur des applications variées parmi lesquelles l'optimisation et l'automatisation de la gestion des réseaux mobiles et l'amélioration de l'expérience client. Le stage se déroule dans les locaux d’Orange à Chatillon. Desired start date : Mar 01, 2027, 12:00AM At Orange, only your skills matter. Regardless of your age, gender, background, origin, religion, sexual orientation, disability, neurodiversity, or appearance, we actively encourage diversity within our teams, as it is a collective strength and a driver of innovation.
Orange is a disability-inclusive employer: please feel free to let us know about any specific needs you may have.
· L’état de l’art sur le sujet du contrôle humain (Human Oversight) et les enjeux des systèmes IA Agentique
· L’étude des méthodes d’évaluation IA Agentique Responsable et la sélection d’outils pertinents
· La découverte des cas d’usage d’Orange notamment dans le domaine de la relation client et de l’exploitation réseau 2. Développement d’un prototype, comprenant notamment :
· La conception et l’implémentation, en Python, d’un prototype d’agent d’analyse, éventuellement orchestré avec LangGraph ou un outil équivalent ;
· La mise en place des outils d’évaluations IA Responsable identifiés et de l’observabilité associées ; La présentation des résultats pour un superviseur expert métier. Formation souhaitée:
• Etudiant(e) en dernière année d’école d’ingénieur ou en Master 2, spécialisé(e) en IA, informatique et data science Compétences et qualités personnelles recherchées:
• Très bonne maîtrise de Python et des structures de données.
• Bonne connaissance des LLM, des systèmes agentiques et de l’orchestration de workflows.
• Une expérience avec LangGraph, LangChain, Langsmith ou un outil équivalent est appréciée.
• Intérêt pour l’expérimentation, les protocoles de test et l’évaluation des systèmes d’IA.
• Une sensibilité aux enjeux de l’IA responsable (biais, transparence, impact environnemental...)
• Vous êtes capable de mener un projet de bout en bout, en étant force de proposition et autonome.
• Vous faites preuve de rigueur, d’analyse critique et d’un bon sens de l’organisation.
• Vous êtes enthousiaste, curieux, et prêt à vous remettre en question pour progresser.
• Vous travaillerez sur un sujet d’actualité, au croisement de l’IA agentique, de l’analyse des usages et du l’interaction humaine. Ce stage vous permettra de développer vos compétences dans ces domaines et de vous familiariser avec des outils récents, tels que les LLM et LangGraph.
• Vous évoluerez au sein d’une équipe et serez amené(e) à collaborer avec différents interlocuteurs tout au long du projet.
• Vous pourrez valoriser vos travaux lors de présentations internes et, selon les opportunités, de présentations externes.
• Les résultats du stage pourront contribuer à alimenter plusieurs autres projets de recherche et développement. Au sein de la direction Data & IA dont l’ambition est de porter plus loin l’innovation d’Orange et de renforcer son leadership technologique, vous intégrez une équipe formée de data scientists, de chercheurs et de chefs de projets en charge sur la gouvernance IA. Cette équipe est spécialisée dans les domaines de la Data Science, de l’IA Agentique et de régulation des technologies d’intelligence artificielles. Elle met à profit des techniques d’IA agentique artificielle sur des applications variées parmi lesquelles l'optimisation et l'automatisation de la gestion des réseaux mobiles et l'amélioration de l'expérience client. Le stage se déroule dans les locaux d’Orange à Chatillon. Desired start date : Mar 01, 2027, 12:00AM At Orange, only your skills matter. Regardless of your age, gender, background, origin, religion, sexual orientation, disability, neurodiversity, or appearance, we actively encourage diversity within our teams, as it is a collective strength and a driver of innovation.
Orange is a disability-inclusive employer: please feel free to let us know about any specific needs you may have.