Data Engineer Python
il y a 2 semaines
**Data engineer Python**
- **Contexte**:_
La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques.
La Direction Data a 3 grandes missions : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision.
Avec pour objectif d’accélérer dans le déploiement de la Gouvernance des données au sein de notre plateforme Data, nous souhaitons constituer une nouvelle équipe en charge de déployer les différents datasets organisés par domaine de données. Cette équipe est composée d’un product owner, d’un data steward et d’un data ingénieur.
Notre stack technique est principalement constituée de Python, Spark, SQL, dbt, BigQuery et Airflow pour l’orchestration des traitements. La stack inclut aussi d’autres services de la Google Cloud Platform.
1- Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels
2- Accompagner les utilisateurs dans leurs usages
3- Mettre en place le contrôle qualité sur ces datasets
**MISSIONS**:
En interaction avec les membres de l’équipe, mission consistera à
- Construire et maintenir de pipelines data robustes et scalables
- Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données
- Organiser et structurer le stockage des données
- Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données
- Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données
- Construire et maintenir les workflows de la CI/CD centrés données
- Collaborer avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur
- Participer à la guilde des data ingénieurs
- Assurer l’évolutivité, la sécurité, la stabilité des environnements
- Contribuer et veiller à la mise à jour de la documentation
- Faire de la veille technologique active dans le domaine
- Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe
**Expertises requises**:
- Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data
- Compétences solides en data : structures de données, code, architecture
- Expériences dans un environnement du Cloud Provider Public Google (GCP)
- Une bonne maîtrise des langages Python et SQL est indispensable
- Expériences en Spark
- La connaissance de dbt est un plus
- Expertises dans la mise en place de pipeline ETL / ELT
- Bonnes connaissances de Gitlab et Gitlab CI/CD
- Capacité à vulgariser et à communiquer sur des aspects purement techniques
- Pratique des méthodes Agile : Scrum ou Kanban
Type d'emploi : Temps plein
Rémunération : 2 000,00€ à 4 500,00€ par mois
Lieu du poste : En présentiel
Date de début prévue : 01/10/2024
-
Lead Python Backend Engineer
il y a 2 semaines
Paris, Île-de-France Data Theorem Temps pleinData Theorem is an exciting company focused on creating a more secure world for data. Rooted in a strong engineer first culture, every employee has an impact on product and direction. We are searching for exceptional talent pursuing an opportunity to grow and take ownership of the projects that resonate most with them.As a Lead Python Backend Engineer, you...
-
Data Engineer Python Azure
il y a 2 semaines
Paris, Île-de-France ec-0b91-4fd1-a05e-dc94127b83a9 Temps pleinDATA ENGINEER Avec des compétences sur Python/Pyspark/Databricks sous un environnement Azure Cloud.Objectifs et livrables :Nous recherchons une prestation de Data Engineering avec des compétences sur Python/Pyspark/Databricks sous un environnement Azure Cloud.Le consultant Data Engineer évoluera dans un contexte agile, en mode itératif et co-...
-
Lead Python Backend Engineer
il y a 1 semaine
Paris, France Data Theorem Temps plein**Data Theorem is an exciting company focused on creating a more secure world for data. Rooted in a strong engineer first culture, every employee has an impact on product and direction. We are searching for exceptional talent pursuing an opportunity to grow and take ownership of the projects that resonate most with them.**: You will: - Implement web...
-
Lead Python Backend Engineer
il y a 1 semaine
Paris, France Data Theorem Temps pleinParis, France Full Time Experienced **Data Theorem is an exciting company focused on creating a more secure world for data. Rooted in a strong engineer first culture, every employee has an impact on product and direction. We are searching for exceptional talent pursuing an opportunity to grow and take ownership of the projects that resonate most with...
-
Data Engineer Gcp X Python
il y a 1 semaine
Paris, France UCASE CONSULTING Temps pleinJe recherche pour un de mes clients un Data Engineer Python x GCP: **Missions principales**: ? Participer aux analyses, études d?impacts et cadrage techniques ? Concevoir des solutions en respectant les bonnes pratiques d?architecture data et développement ? Réaliser le développement de nouveaux data products et assurer la maintenance évolutive et...
-
Data Engineer Python AWS
il y a 1 semaine
Paris, Île-de-France Collective Temps pleinBudget: 600En quelques motsCherry Pick est à la recherche d'unData Engineer Python AWS(H/F), pour le compte de l'un de ses clients qui opère dans le domaine de l'Energie.Description Contexte de la missionDans le cadre de l'accélération de sa transformation digitale, une grande entreprise multi-énergies s'appuie sur uneDigital Factory internationale,...
-
Data Engineer Python/PySpark/Databricks
il y a 2 semaines
Paris, Île-de-France Free-Work Temps pleinMission Freelance – Data Engineer Pas de sous-traitanceJe recherche un·e Data Engineer (Python / PySpark / Databricks / AWS) pour une mission stratégique au sein d'un grand groupe international dans l'énergie Paris – 3 jours sur site / 2 jours remote Démarrage : 08/12/2025 TJM selon profilProcess : Codingame puis live coding Ce qui t'attend :...
-
Data Engineer Expérimenté
il y a 2 semaines
Paris, Île-de-France MP DATA Temps pleinNous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...
-
Data Engineer
il y a 3 jours
Paris, France KOMEET TECHNOLOGIES Temps pleinPour une startup dans le domaine de l'énérgie fialiale d'un grand groupe, Le projet vise à consommer des modèles ML sur des données structurées, les transformer, et les intégrer dans des bases relationnelles ou des stockages type S3. Nous recherchons un profil hybride Data Engineer / Data Scientist, avec une expertise forte en Python, capable...
-
Data Engineer Python
il y a 6 jours
Paris, Île-de-France Collective Temps pleinBudget: 50000MissionsLe département Data Factory recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists.A Ce Titre, Vos Principales Missions Consisteront àMener les projets d'intégration (temps réel) et data (big data &...
