Dé ETL

Au sein du pôle Tech & IT, le poste sera constitué des travaux suivants :

1. Intégration de nouvelles données

• Analyser les nouvelles sources de données (format, volumétrie, fréquence, qualité, contraintes techniques).

• Concevoir et développer des pipelines ETL robustes et automatisés.

• Implémenter des parsers / connecteurs spécifiques à chaque source dans le cadre du futur ETL unifié.

• Documenter les flux de données, les transformations, les mappings et les dépendances.

2. Monitoring & fiabilisation des flux

• Mettre en place et maintenir des mécanismes de supervision (logs, alertes, dashboards de suivi des jobs).

• Assurer la détection et le traitement des anomalies (données manquantes, incohérences, erreurs d'exécution).

• Proposer et mettre en œuvre des règles de qualité de données (contrôles, validations, rejets, rapports d'erreurs).

• Contribuer à l'amélioration continue de la résilience des pipelines (reprise sur erreur, gestion des échecs, reruns).

3. Optimisation des performances

• Analyser les performances des jobs ETL existants (temps d'exécution, consommation de ressources, coûts).

• Identifier les goulots d'étranglement (requêtes lourdes, traitements redondants, I/O, etc.).

• Optimiser les transformations, les requêtes et l'architecture des flux pour réduire les temps de traitement et les coûts.

• Proposer des améliorations techniques (parallélisation, incrémental, optimisation SQL, cache, etc.).

4. Harmonisation & industrialisation de l'ETL

• Concevoir une architecture modulaire : un cœur applicatif unique + des modules / librairies / parsers par source.

• Définir et appliquer des standards de développement (structure de projet, conventions de nommage, gestion des erreurs, logs, tests).

• Factoriser le code existant pour mutualiser les composants réutilisables (connecteurs, fonctions de nettoyage, transformations génériques).

• Contribuer à la mise en place de CI/CD pour les pipelines ETL (tests automatisés, déploiements, versioning des schémas).