QA IA

QA IA (Quality Assurance IA / AI Test Engineer) Join to apply for the QA IA (Quality Assurance IA / AI Test Engineer) role at Skapa Agency 1 day ago Be among the first 25 applicants Get AI-powered advice on this job and more exclusive features. Skapa est une des premières agences en France à exploiter les méthodes du Design Thinking et à les adapter à chaque organisation. Skapa facilite la transformation des organisations, à travers la conception collaborative de nouveaux modèles économiques tournés vers les services. Skapa ancre une dynamique positive de transformation des méthodes de travail et insuffle auprès des équipes qu’elle accompagne, une organisation plus agile, créative, fédératrice, transverse et communicante. Skapa impacte vos offres, crée de nouvelles solutions opérationnelles adaptées à vos clients cibles, vos stratégies, vos ressources. Skapa exploite ses compétences d’innovation et son esprit de challenge pour innover et concevoir vos solutions digitales, vos labs, vos sièges sociaux, vos objets connectés. Skapa stimule l’adhésion de toute l’organisation autour des solutions innovante crées et prépare ainsi un contexte positif à leur éclosion en interne et sur le marché. Skapa accompagne votre politique d’innovation, de transformation stratégique et réintègre vos clients dans la construction de vos enjeux d’avenir, dans le financement de vos innovations. Skapa conçoit une véritable expérience collaborateurs/client et réalise des solutions produit et digitale. Rôle et mission générale Le QA IA est responsable de la qualité, de la fiabilité, de la robustesse et de la conformité des systèmes IA avant, pendant et après la mise en production. Il conçoit et exécute les tests multi-couches : Data testing Model testing System testing Tests spécifiques GenAI / RAG / Agents Tests de sécurité, biais, dérive et conformité (CT‑AI) Ce rôle devient crucial avec la montée des systèmes GenAI, agentiques et RAG. Responsabilités clés Stratégie de test IA Définir la méthodologie QA adaptée au type de modèle : ML, LLM, RAG, agents. Construire les plans de test IA : data tests, model tests, risk tests, behavior tests. Définir la couverture de test en accord avec le PO et les Data Scientists. Tests Data & Features : Vérifier la qualité, cohérence, fraîcheur, représentativité des données; Détecter les biais potentiels; Définir des tests de drift data. Tests Modèle : Tester la performance (metrics ML), la robustesse, l’explicabilité; Tester la stabilité selon différents jeux de données; Tester la sensibilité du modèle aux perturbations (adversarial tests). Tests systèmes IA : Tests end‑to‑end (réception → prédiction → action → logs); Tests UX pour les assistants IA / agents; Tests de charge, latence, disponibilité, escalade. Tests spécifiques GenAI / RAG / Agents : Détection et mesure des hallucinations; Tests de pertinence des sources RAG (grounding testing); Tests multi‑agents (cohérence, coordination, divergence); Vérification du respect des garde‑fous (ton, contraintes métier, RGPD). Documentation & conformité : Contribution au dossier d’évaluation IA (CT‑AI); Collaboration avec DPO sur les risques et RGPD; Mise à jour des registres IA et des reports d’audit. Types de missions réalisées Test d’un chatbot multi‑agents avant mise en production Qualification d’un modèle CLV / churn Analyse des hallucinations dans un modèle RAG Définition des seuils d’alerte drift pour modèles ML Tests de sécurité / robustesse (prompt injection, jailbreaking) Mise en place d’un protocole d’explicabilité (LIME, SHAP, PDP) Compétences essentielles Compétences techniques Compréhension avancée : ML, LLM, RAG, pipelines, monitoring Bon niveau en statistiques, métriques IA Culture MLOps (CI/CD, MLflow, Data Versioning) Compréhension de l’architecture logicielle (API, micro‑services) Compétences en QA Automatisation des tests Conception de scénarios multi‑couches Notions de SRE / performance testing Méthodologie CT‑AI (tests confiance IA) Soft Skills Rigueur scientifique Capacité d’analyse Pensée critique / sceptique Communication claire avec Data Scientists & PO Sensibilité éthique et RGPD Technologies & outils Outils QA : PyTest, Robot Framework MLOps : MLflow, EvidentlyAI, Bento, Vertex AI LangChain / LlamaIndex (tests RAG) Monitoring : WhyLabs, Arize AI Explicabilité : SHAP, LIME Tests LLM : DeepEval, Ragas, Promptfoo Versioning : DVC, Git Framework API : FastAPI / Flask (lecture seulement) Indicateurs de performance Taux de couverture de test Réduction du taux d’incident après mise en production Diminution des hallucinations / erreurs / escalades Rapidité à détecter anomalies & dérives Qualité de la documentation & audits IA Pré-requis / Profil recherché Bac +5 (data / informatique / stats) ou expérience QA solide 2 à 5 ans en QA, Data, ML ou automatisation de tests Compréhension forte du ML et de la GenAI Expérience dans le test de modèles ou systèmes complexes Seniority level Entry level Employment type Full‑time Job function Other Industries IT Services and IT Consulting Referrals increase your chances of interviewing at Skapa Agency by 2x Get notified about new Quality Assurance Specialist jobs in Paris, Île-de-France, France. #J-18808-Ljbffr