Lead Data Engineer Senior

PROPULSE IT recherche un Lead Data Ingénieur ayant près de 10 ans d'expérience pour un de ses clients

En tant que Lead Data Engineer, vous travaillerez au sein de l'équipe digitale «?data et performance?», en charge principalement de l'infrastructure data, et du traitement, de l'intégration et de la transformation de la donnée digitale d'Hermès ). Vous serez aussi garant·e de sa qualité et sa sécurité et le respect de la vie privée liée à cette donnée. Vous serez rattaché·e au Data Manager et vous animez et pilotez une équipe de 2 Data Engineer au quotidien. Vous travaillerez principalement sur le Cloud de Google (GCP), mais aussi en partie sur le Cloud Amazon (AWS).

Le respect de la vie privée étant au c?ur de de votre travail, vous devrez être conscient des problématiques liées à la GDPR. Des connaissances sur les problématiques liées à l'e-Commerce sont un plus.

Principales Activités?:

Industrialisation de l'infrastructure de la Data Platform sous GCP

• Vous avez pour principale mission d'accompagner l'équipe Data et Performance dans l'industrialisation de sa plateforme data via :
• Mise en place d'environnements dédiés et cloisonnés (Dev / Preprod / Production)
• L'automatisation du déploiement et la maintenance des environnements via des outils d'infrastructure as code (Terraform) sous GCP
• Mise en place de solutions d'observabilités (monitoring, alerting) au sein de GCP

Manipulation/Transformation de données (en batch et stream)

• Vous accompagnerez aussi l'équipe Data dans ses activités de transformation de données via?:
• Maintenance pipelines de données en python (batch et stream)
• Des pipelines de transformation en SQL/SQLX dans l'outil DataForm (similaire à DBT)
• Mise en place et maintenance d'un outil de data quality (ex : great expectations en python)
• Aider au développement des workers dans les Cloud AWS pour récupérer la donnée depuis Kafka et l'envoyer vers PubSub dans GCP.
• La connaissance de l'outil DataFlow (Apache Beam) est un plus.

Collaboration avec les équipes du pole, centrée sur la donnée de qualité

• Standardisation de la base de code de l'équipe (linting, CI/CD, divers tests
• Maintien et réalisation de schémas d'architectures et documentation des processus internes
• Collaboration avec les autres équipes du pôle Data : data analysts, SEO/SEA et emailing
• Aider à la mise en place de bonnes pratiques :
• Anonymisation et archivage de la donnée dans le respect du RGPD et de la politique interne du traitement de données
• Sécurité de l'infra, de la data et du code

Profil candidat:

Une expérience de 7 ans minimum sur des missions de Data Engineering.

• Formation Bac +5 : Ecole d'ingénieur ou Master Big Data, Mathématiques ou équivalent
• Vous possédez une sensibilité aux problématiques digitales e-commerce,
• Organisé, rigoureux, curieux, autonome, bonne expression écrite et aisance relationnelle
• Un bon niveau d'anglais est important pour échanger avec différents interlocuteurs internationaux par oral ainsi que par écrit.
• De bonnes capacités d'auto-formation sur les aspects techniques sont fortement appréciées.
• Compétences Comportementales?:

Vous êtes bon·ne communicant·e (vous savez présenter, à l'oral comme à l'écrit, de manière synthétique et pédagogique des thématiques techniques pointues) et avez un bon sens relationnel, vous savez faire preuve d'empathie. Vous êtes rigoureux·se et réactif·ve.

Environnent technique :

Stack technique : Google Cloud Platform (GCP), BigQuery, DataForm, Cloud DataFlow, Cloud PubSub, Notebooks Python, LookerStudio, PowerBI.

• Une bonne maîtrise des langages Python et SQL est indispensable.
• De l'expérience en développement de code collaboratifs (dev Ops.) est souhaitée.
• Une connaissance minimum des technologies de streaming (Apache Beam, DataFlow, Kafka, PubSub, SNS/SQS) est nécessaire.
• De l'expérience spécifique sur BigQuery est fortement recommandée
• Une connaissance des outils de GCP (ou cloud équivalent) est fortement recommandée
• De l'expérience sur des ETL (transformation de données) est fortement recommandé
• De l'expérience dans l'utilisation d'outil de transformation de données comme des ETLs (Cloud DataPrep, DataIku, Alteryx ou autre) sont un plus
• Des connaissances en machine learning sont un plus