Ai Productivity Engineer Intern

**Le poste**:
Yousign recherche, à partir de janvier 2026, **un(e) AI Productivity Engineer Intern,** pour rejoindre son équipe AI Productivity, directement sous la supervision du **AI Productivity Lead Engineer**.

Durant ce stage de **6 mois**, tu participeras à la mise en œuvre d’un **processus d’évaluation robuste et industrialisé** pour nos agents/assistants d’IA de productivité (Dust). Ton périmètre couvrira:

- la définition des critères de qualité,
- la constitution de jeux de tests,
- l’architecture, le développement, le déploiement et l’exploitation continue d’un pipeline d’évaluation.

L’objectif est d’améliorer la **qualité**, la **fiabilité** et la **mesurabilité** des agents utilisés par les équipes, grâce à des indicateurs de performance suivis.

**Missions principales**:

- **Benchmark & étude**: Revue des approches d’évaluation (LLM-as-Judge, golden sets, pairwise, human-in-the-loop) ; benchmark d’outils (Dust, LangSmith, OpenAI Evals, plateforme custom) ; définition des critères qualité par type d’agent (exactitude, robustesse, sécurité, coût, latence).
- **Conception**: Design d’un pipeline d’évaluation reproductible (datasets, orchestration, stockage des runs, traçabilité) ; spécification de l’intégration aux agents Dust et au CI/CD ; schéma des tableaux de bord et alertes (adoption, régressions, SLO qualité).
- **Développement**: Implémentation d’une plateforme d’évaluation (Python/TypeScript) et des premiers jeux de tests ; intégration LLM-as-Judge et métriques (accuracy, relevance, safety, cost, latency) ; automatisation des campagnes hebdomadaires et versioning des résultats.
- **Déploiement**: Déploiement du pipeline, des tableaux de bord et des alertes en environnement de production interne ; intégration au workflow des équipes (documentation, formation, runbooks) ; passage de relais pour l’exploitation continue.

**Profil recherché**:

- **Étudiant(e) en école d’ingénieur**, en recherche d’un stage de fin d’études.

**Compétences techniques (Hard skills)**:
**Must-have**:

- Bases solides en développement (Python ou TypeScript) et en métriques.
- Rigueur dans la gestion des données (datasets, annotation, reproductibilité, versioning).
- Intérêt marqué pour l’IA générative et l’évaluation de la qualité.
- Anglais courant (documentation technique, outils).

**Nice-to-have**:

- Expérience avec des LLMs (Claude, GPT, etc.) et évaluation automatisée.
- Connaissance d’outils d’évaluation (LangSmith, OpenAI Evals, Langfuse) ou d’observabilité.
- Pratique du CI/CD, des tableaux de bord et de l’alerting.

**Qualités personnelles (Soft skills)**:

- Curiosité et veille technologique - Intérêt pour l’innovation en IA.
- Pédagogie - Capacité à vulgariser et à former.
- Adaptabilité - Environnement en évolution rapide.
- Esprit d’initiative - Proactivité dans l’identification d’opportunités.

**Ce que trouveras chez Yousign**:
- Une scale-up dynamique qui place les personnes avant tout
- Un style de management qui favorise l’autonomie et la cohésion, au travers d’objectifs communs (OKR)
- Le meilleur de la culture et des méthodes de travail
- Un environnement de travail bienveillant et stimulant
- Des évènements d’équipes réguliers
- La possibilité de travailler depuis nos très jolis bureaux à Paris juste à côté de la place de Clichy
- Télétravail occasionnel (rythme à adapter avec ton équipe)

**Equal Opportunity at Yousign**:
Chez Yousign, nous célébrons l’unicité et veillons à ce que chaque membre de l’équipe ait les mêmes opportunités de contribuer. Nous offrons des chances égales à tous et maintenons des processus transparents et équitables.

Rejoignez-nous chez Yousign, où nos différences nourrissent la créativité et la force — embarquons ensemble dans cette aventure incroyable