Expert Data Engineer
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks.
Apprenez-en plus sur ce poste en lisant les informations ci-dessous, puis postulez pour que votre candidature soit étudiée.
Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international.
Missions
- Concevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel.
- Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs.
- Développer des traitements Python / PySpark sur Databricks.
- Mettre en œuvre et optimiser les modèles de données cibles.
- Automatiser les transformations, la documentation et les tests avec dbt.
- Développer et configurer des flux CDC (Change Data Capture).
- Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging.
- Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD.
- Réaliser les développements et tests associés.
- Participer aux mises en production et à l'industrialisation des solutions.
Compétences techniques recherchées
- Forte expertise sur Talend ETL : développement, debugging et industrialisation.
- Bonne maîtrise de Python et PySpark.
- Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation.
- Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances.
- Expérience pratique de dbt pour la transformation et la modélisation des données.
- Bonne connaissance des problématiques CDC / Change Data Capture.
- Une expérience sur Qlik Replicate / Attunity est fortement appréciée.
- Connaissance de Kafka appréciée.
- Connaissances en Java.
- Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements.
- Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests.
Profil recherché
Vous justifiez d'au moins 3 ans d'expérience en Data Engineering / Data Lake.
Vous êtes autonome, rigoureux, proactif et disposez de solides capacités d'analyse. Vous êtes également à l'aise dans des environnements exigeants et possédez un bon relationnel client. xuezdbg
Anglais courant obligatoire.