Data Engineer Confirmé – Full Remote
Il y a 7 mois
Centre, France
Informatis
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Data Engineer Confirmé – Full Remote (1 déplacement mensuel en Centre-Val de Loire) Durée : mission longue Localisation : Indre-et-Loire (remote majoritaire)
Expérience:
5 ans minimum Contexte de la mission Dans le cadre d’un remplacement au sein de la DSI d’un acteur majeur du secteur de l’énergie, nous recherchons un Data Engineer confirmé spécialisé sur Airflow. Vous interviendrez en binôme avec une ressource interne et collaborerez étroitement avec des équipes métiers, notamment des profils scientifiques non IT. Objectifs de la mission La mission vise à reprendre et améliorer un existant présentant certaines limites autour de l’utilisation d’Airflow. Le consultant devra être en mesure de prendre du recul, d’analyser les pratiques en place et de proposer des axes d’amélioration concrets. Missions principales
• Réaliser un audit complet de l’existant Airflow (organisation, usage, performance)
• Identifier les axes d’amélioration, les optimisations possibles et les risques techniques
• Optimiser les pipelines existants et développer de nouveaux flux data
• Intervenir sur des sujets de contrôle documentaire et de qualité des données
• Mettre en place des contrôles de cohérence et faire évoluer les flux data
• Accompagner les équipes métiers dans l’analyse de leurs problématiques
• Collaborer avec les différentes parties prenantes (métiers, DSI, responsables fonctionnels)
• Produire une documentation technique complète dans un environnement fortement normé Environnement technique
• Airflow
• Python
• Trino
• PostgreSQL
• DBeaver
• Power BI / MSBI (apprécié)
• SSIS (ponctuel)
• AWS
• Pipelines data Livrables attendus
• Audit de la plateforme Airflow
• Recommandations d’amélioration
• Pipelines optimisés et/ou développés
• Documentation technique détaillée
• Support aux équipes métiers Compétences requises :
Profil recherché
Compétences techniques
• Airflow : niveau confirmé (indispensable)
• Python : niveau confirmé (indispensable)
• PostgreSQL : requis
• Trino : souhaité
• DBeaver : apprécié
• Power BI / MSBI : un plus
• SSIS : secondaire Expérience
• Minimum 2 à 3 ans sur Airflow
• Expérience en développement de pipelines data
• Expérience en audit et optimisation d’environnements existants Compétences fonctionnelles
• Capacité à challenger l’existant et
à propos
er des améliorations
• Bon niveau de communication avec des interlocuteurs non techniques
• Capacité de vulgarisation
• Rigueur rédactionnelle et sens de la documentation
• Aisance dans des environnements exigeants et structurés Contraintes
• Français courant requis
• Casier judiciaire vierge
Expérience:
5 ans minimum Contexte de la mission Dans le cadre d’un remplacement au sein de la DSI d’un acteur majeur du secteur de l’énergie, nous recherchons un Data Engineer confirmé spécialisé sur Airflow. Vous interviendrez en binôme avec une ressource interne et collaborerez étroitement avec des équipes métiers, notamment des profils scientifiques non IT. Objectifs de la mission La mission vise à reprendre et améliorer un existant présentant certaines limites autour de l’utilisation d’Airflow. Le consultant devra être en mesure de prendre du recul, d’analyser les pratiques en place et de proposer des axes d’amélioration concrets. Missions principales
• Réaliser un audit complet de l’existant Airflow (organisation, usage, performance)
• Identifier les axes d’amélioration, les optimisations possibles et les risques techniques
• Optimiser les pipelines existants et développer de nouveaux flux data
• Intervenir sur des sujets de contrôle documentaire et de qualité des données
• Mettre en place des contrôles de cohérence et faire évoluer les flux data
• Accompagner les équipes métiers dans l’analyse de leurs problématiques
• Collaborer avec les différentes parties prenantes (métiers, DSI, responsables fonctionnels)
• Produire une documentation technique complète dans un environnement fortement normé Environnement technique
• Airflow
• Python
• Trino
• PostgreSQL
• DBeaver
• Power BI / MSBI (apprécié)
• SSIS (ponctuel)
• AWS
• Pipelines data Livrables attendus
• Audit de la plateforme Airflow
• Recommandations d’amélioration
• Pipelines optimisés et/ou développés
• Documentation technique détaillée
• Support aux équipes métiers Compétences requises :
Profil recherché
Compétences techniques
• Airflow : niveau confirmé (indispensable)
• Python : niveau confirmé (indispensable)
• PostgreSQL : requis
• Trino : souhaité
• DBeaver : apprécié
• Power BI / MSBI : un plus
• SSIS : secondaire Expérience
• Minimum 2 à 3 ans sur Airflow
• Expérience en développement de pipelines data
• Expérience en audit et optimisation d’environnements existants Compétences fonctionnelles
• Capacité à challenger l’existant et
à propos
er des améliorations
• Bon niveau de communication avec des interlocuteurs non techniques
• Capacité de vulgarisation
• Rigueur rédactionnelle et sens de la documentation
• Aisance dans des environnements exigeants et structurés Contraintes
• Français courant requis
• Casier judiciaire vierge