QA IA

il y a 5 jours

Rue du Temple Paris France Skapa Temps plein

Rôle et mission générale

Le QA IA est responsable de la qualité, de la fiabilité, de la robustesse et de la conformité des systèmes IA avant, pendant et après la mise en production.

Il conçoit et exécute les tests multi-couches :

  • Data testing

  • Model testing

  • System testing

  • Tests spécifiques GenAI / RAG / Agents

  • Tests de sécurité, biais, dérive et conformité (CT-AI)

Ce rôle devient crucial avec la montée des systèmes GenAI, agentiques et RAG.

Responsabilités clés

1. Stratégie de test IA

  • Définir la méthodologie QA adaptée au type de modèle : ML, LLM, RAG, agents.

  • Construire les plans de test IA : data tests, model tests, risk tests, behavior tests.

  • Définir la couverture de test en accord avec le PO et les Data Scientists.

2. Tests Data & Features

  • Vérifier la qualité, cohérence, fraîcheur, représentativité des données.

  • Détecter les biais potentiels.

  • Définir des tests de drift data.

3. Tests Modèle

  • Tester la performance (metrics ML), la robustesse, l'explicabilité.

  • Tester la stabilité selon différents jeux de données.

  • Tester la sensibilité du modèle aux perturbations (adversarial tests).

4. Tests systèmes IA

  • Tests end-to-end (réception → prédiction → action → logs).

  • Tests UX pour les assistants IA / agents.

  • Tests de charge, latence, disponibilité, escalade.

5. Tests spécifiques GenAI / RAG / Agents

  • Détection et mesure des hallucinations.

  • Tests de pertinence des sources RAG (grounding testing).

  • Tests multi-agents (cohérence, coordination, divergence).

  • Vérification du respect des garde-fous (ton, contraintes métier, RGPD).

6. Documentation & conformité

  • Contribution au dossier d'évaluation IA (CT-AI).

  • Collaboration avec DPO sur les risques et RGPD.

  • Mise à jour des registres IA et des reports d'audit.

Types de missions réalisées

  • Test d'un chatbot multi-agents avant mise en production

  • Qualification d'un modèle CLV / churn

  • Analyse des hallucinations dans un modèle RAG

  • Définition des seuils d'alerte drift pour modèles ML

  • Tests de sécurité / robustesse (prompt injection, jailbreaking)

  • Mise en place d'un protocole d'explicabilité (LIME, SHAP, PDP)

  • QA IA

    il y a 6 jours

    Paris, France Skapa Agency Temps plein

    QA IA (Quality Assurance IA / AI Test Engineer) Join to apply for the QA IA (Quality Assurance IA / AI Test Engineer) role at Skapa Agency 1 day ago Be among the first 25 applicants Get AI-powered advice on this job and more exclusive features. Skapa est une des premières agences en France à exploiter les méthodes du Design Thinking et à les adapter à...

  • QA Senior

    il y a 7 heures

    Rue Robert Doisneau, Angoulême, France Fasst Temps plein

    En tant que Testeur·se Senior, vous serez un pilier de la qualité logicielle au sein de FASST.Vous interviendrez sur l'ensemble du cycle de vie de nos produits digitaux, en collaboration étroite avec les Product Owners, les développeurs et les autres QA.Votre mission : garantir que chaque version livrée reflète le haut niveau d'exigence et la qualité...

  • QA Engineer

    il y a 7 jours

    Paris, Île-de-France Wirk Temps plein

    QA Engineer (Intermédiaire) — Applications & Plateformes Data / IA Paris (2ᵉ arrondissement) – Sur site / Langue de travail: Francais À propos de WIRKWIRK conçoit desplateformes d'extraction et de compréhension de documentsà forte valeur ajoutée.Nos produits traitent des flux complexes, des pipelines data/IA, des APIs métier critiques et des...

  • AI QA Engineer: GenAI

    il y a 6 jours

    Paris, France Skapa Agency Temps plein

    Une entreprise innovante recherche un(e) QA IA (Quality Assurance IA / AI Test Engineer) à Paris. Le candidat idéal sera responsable de la qualité et de la robustesse des systèmes IA. Les missions incluent la conception de tests multi-couches, le développement de méthodologies QA, et la collaboration avec des équipes Data. Ce poste nécessite une...

  • QA Engineer

    il y a 7 jours

    Paris, Île-de-France ChapsVision Temps plein

    PRÉSENTATION DE CHAPSVISIONFondé en 2019, ChapsVision est un éditeur de logiciels en forte croissance, membre duNEXT40de la French Tech, regroupant les 40 start-ups françaises les plus prometteuses.Avec plus de 1200 collaborateurs et plus de 1000 clients grands comptes et régaliens, notre ambition est de devenir un leader européen du traitement...

  • Ingénieur QA Automation

    il y a 2 semaines

    Paris, France Octopus It Temps plein

    La société Cette Start-Up en hyper croissance d'une cinquantaine de personnes dont 30 sur le pôle tech est aujourd'hui devenue un véritable leader dans le domaine de l'automatisation des outils de comptabilité. Grâce à un logiciel Saas d'intelligence artificielle à destination des cabinets comptables et des entreprises s'appuyant sur les nouvelles...

  • QA Engineer

    il y a 3 jours

    Paris, France ChapsVision Temps plein

    Fondé en 2019, ChapsVision est un éditeur de logiciels en forte croissance, membre du NEXT40 de la French Tech, regroupant les 40 start-ups françaises les plus prometteuses. Avec plus de 1200 collaborateurs et plus de 1000 clients grands comptes et régaliens, notre ambition est de devenir un leader européen du traitement souverain de la donnée. Nous...

  • QA Manager

    il y a 4 jours

    Paris, France Oodrive Temps plein

    **Pourquoi rejoindre Oodrive** Oodrive est un éditeur français de logiciels, pionnier de la collaboration **sécurisée et souveraine** en Europe. Nous accompagnons les entreprises, institutions et administrations dans la gestion de leurs documents sensibles, avec une suite collaborative complète et certifiée (SecNumCloud, ISO, HDS ). **Ce qui vous...

  • Stage - Ingénieur Quality Assurance (QA) test web H/F

    il y a 7 jours

    Paris, Île-de-France La Centrale Temps plein

    Contexte du posteAu sein de l'équipe QA de La Centrale, tu participeras activement à l'amélioration de la qualité du site Web principal ). Tu accompagneras au quotidien les features teams dans leurs besoins en QA, tout en contribuant à la stratégie d'automatisation des tests Web incluant l'usage de l'IA.Environnement technique : AWS – GitHub –...

  • Alternance Testeur Logiciel QA

    il y a 5 jours

    Paris, France Iscod Temps plein

    Description : L'ISCOD, spécialiste de la formation en Digital Learning, recrute pour l'un de ses partenaires une startup technologique innovante, un(e) alternant·e Test Logiciel / QA. Tu évolueras au sein d'une équipe tech à fort impact, développant une plateforme SaaS intégrant de l'IA conversationnelle pour automatiser des processus métiers...