Expert Data Engineer

Il y a 2 jours

Courbevoie, Île-de-France SThree plc Temps plein

Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks.



Apprenez-en plus sur ce poste en lisant les informations ci-dessous, puis postulez pour que votre candidature soit étudiée.

Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international.


Missions

  • Concevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel.
  • Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs.
  • Développer des traitements Python / PySpark sur Databricks.
  • Mettre en œuvre et optimiser les modèles de données cibles.
  • Automatiser les transformations, la documentation et les tests avec dbt.
  • Développer et configurer des flux CDC (Change Data Capture).
  • Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging.
  • Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD.
  • Réaliser les développements et tests associés.
  • Participer aux mises en production et à l'industrialisation des solutions.

Compétences techniques recherchées

  • Forte expertise sur Talend ETL : développement, debugging et industrialisation.
  • Bonne maîtrise de Python et PySpark.
  • Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation.
  • Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances.
  • Expérience pratique de dbt pour la transformation et la modélisation des données.
  • Bonne connaissance des problématiques CDC / Change Data Capture.
  • Une expérience sur Qlik Replicate / Attunity est fortement appréciée.
  • Connaissance de Kafka appréciée.
  • Connaissances en Java.
  • Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements.
  • Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests.

Profil recherché

Vous justifiez d'au moins 3 ans d'expérience en Data Engineering / Data Lake.


Vous êtes autonome, rigoureux, proactif et disposez de solides capacités d'analyse. Vous êtes également à l'aise dans des environnements exigeants et possédez un bon relationnel client. xuezdbg


Anglais courant obligatoire.