Data Engineer

**Stack technique**: Application Web Angular, utilisation de la librairie Angular Material avec une surcouche EDF, hébergement AWS, Base de données Postgre, ETL : Talend
**Taille de l'équipe**: 4 développeurs, 1 scrum master, 1 business analyst, 1 product owner
**Méthodologie de travail**: Agile Scrum
Objectifs et livrables
**Prestation attendues**:
**1. Analyse & préparation**:
Analyse des sources et cibles
Comprendre la structure des bases PostgreSQL source et cible (schémas, types, relations)
Identifier les tables, colonnes et données à migrer
Vérifier les différences éventuelles entre les modèles de données.
Analyse des contraintes fonctionnelles & techniques
Volumétrie (nombre d?enregistrements, poids total des données).
Contraintes de performance, de sécurité, de qualité de données.
Définition des règles de transformation ou de nettoyage.
Cartographie des données
Établissement d?une correspondance source ? cible (mapping).
**Documentation des transformations à appliquer (ex**: formats de date, renommage de champs, types de données à convertir).
2. Conception & développement Talend
Création des jobs Talend
Création de jobs Talend pour l?extraction, transformation et chargement
Mise en place des connexions, paramètres de configuration (contexte).
Gestion des erreurs & rejets
Détection et gestion des erreurs de transformation ou d?insertion.
Création de flux de rejets pour les données non conformes.
Optimisation des traitements
Découpage des jobs par lots/logique métier.
Utilisation de traitements parallèles ou de buffers selon les volumes.
3. Tests & validation
Tests unitaires
Vérification des traitements élémentaires (job par job).
Validation des transformations appliquées.
Tests d?intégration
Chargement complet d?un jeu de données de test.
Comparaison entre les données source et les données migrées.
Tests de performance
Mesure du temps d?exécution.
Vérification des performances sur des volumes représentatifs
4. Exécution de la migration
Planification des lots de migration
Séquencement des traitements.
Orchestration de l?exécution des jobs (via Talend ou scripts externes).
Supervision & suivi
Surveillance des jobs durant l?exécution.
Analyse des logs et reporting (succès/échecs, rejets).
5. Mise en producti
on & post-migration
Déploiement des jobs Talend en environnement cible
Export, import et configuration des jobs pour production.
Automatisation éventuelle (via Talend Scheduler, cron, etc.).
Contrôles post-migration
Vérification de l?exhaustivité et de l?intégrité des données.
Comparaison statistique (nombre d?enregistrements, sommes, etc.).
Validation métier.
Documentation & réversibilité
Rédaction de la documentation technique (architecture, flux, scripts).
Préparation d?un plan de retour arrière en cas d?échec
**Livrables attendus**:
1. Phase d?analyse & cadrage
Document de cadrage de la migration
Cartographie des données source et cible
Matrice de mapping source ? cible - Analyse d?impact
2. Phase de conception et développement
Spécifications techniques des flux de migration
Scripts SQL associés (si nécessaires)
3. Phase de tests
Plan de tests de migration
Rapports de tests et de performance
**Compétences techniques requises**:
Solide maîtrise de Talend Open Studio / Talend Data Integration.
Bonne connaissance de PostgreSQL (SQL, index, contraintes, performances).
Capacité à écrire des requêtes complexes, procédures, vues.
Expérience en migration de données / projets de transformation de données.
Sens du détail et rigueur sur la qualité des données.
**Certification appréciées**:
Talend Data Integration Certified Developer
EDB PostgreSQL Associate / Professional Certification
AWS Certified Data Analytics ? Specialty
Savoir-être
Forte autonomie, Bon relationnel, Force de proposition, Proactivité
**Expérience professionnelle requise**:
Minimum 4 ans d'expérience.
Dispose d'au moins 2 expériences significatives en tant que Data Engineer.
Sait évoluer dans un contexte agile et sait échanger avec tous les profils de l'équipe.
Compétences demandéesCompétencesNiveau de compétence
Transformation de données
Expert
POSTGRESQL
Expert
Migration de données
Expert
Cartographie de données
Expert
Talend Data Integration
Expert
Talend Open Studio
Expert
Rapports
Expert
Qualité des données
Expert
Autonomie
Expert
Proactivité
Expert
Ecriture de requêtes complexes
Expert