Data Engineer Spark
Il y a 3 jours
Paris, Ile-de-France
Storm Group
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Participe au développement et à l'optimisation de plateformes Data au coeur d'un environnement Cloud Dans le cadre d'un projet Data d'envergure chez l'un de nos grands comptes, nous recherchons un(e) Data Engineer Spark / AWS. Tu interviendras sur des activités de développement et de maintenance de pipelines de données, ainsi que sur leur supervision en production. Tu contribueras à la fiabilisation et à l'optimisation des traitements Data, tout en travaillant en étroite collaboration avec les équipes techniques et les interlocuteurs métiers. Ton futur environnement Tu évolueras au sein d'un environnement Data Cloud reposant notamment sur les technologies Apache Spark et AWS. Intégré(e) à une équipe Data, tu interviendras sur l'ensemble du cycle de vie des pipelines, de leur conception jusqu'à leur exploitation en production. Tu participeras également à l'évolution des architectures existantes et à la mise en place de nouveaux traitements, en collaboration avec les Product Owners et les différentes équipes techniques. Tes missions clés BUILD
- Développement & Conception Data :
- Développer et maintenir des pipelines de données avec Spark, Scala et Python.
- Assurer l'ingestion, la transformation et le traitement des données.
- Concevoir et développer des workflows d'orchestration avec Airflow.
- Optimiser les performances des traitements Spark.
- Participer aux tests, aux revues de code et aux déploiements des évolutions.
- Contribuer à l'amélioration continue des architectures et des pipelines existants. RUN
- Exploitation & Production :
- Superviser les pipelines de données et assurer leur bon fonctionnement en production.
- Analyser, diagnostiquer et résoudre les incidents liés aux traitements Data.
- Gérer les erreurs d'exécution et assurer les reprises des traitements.
- Fiabiliser les pipelines et maîtriser les dépendances entre les différents workflows.
- Identifier les axes d'amélioration et optimiser les traitements existants.
- Garantir la continuité de service et la qualité des données produites. Collaboration fonctionnelle & Métier :
- Comprendre les besoins métiers et les règles de gestion associées aux traitements de données.
- Collaborer avec les Product Owners dans la définition et le suivi des évolutions.
- Analyser et clarifier les demandes et les tickets lorsque les besoins sont incomplets.
- Être force de proposition sur les évolutions techniques et fonctionnelles.
- Challenger les besoins exprimés afin de proposer des solutions adaptées aux enjeux métiers. Ton profil
Formation:
Bac +5 en informatique, Data Engineering, systèmes d'information ou domaine équivalent.
Expérience:
Expérience confirmée en tant que Data Engineer, avec une solide expertise sur Spark et les environnements AWS. Une expérience significative dans l'exploitation de pipelines en production est attendue. Expertise métier :
- Solide maîtrise d'Apache Spark et PySpark, idéalement Scala.
- Bonne maîtrise de l'écosystème AWS, notamment S3 et EMR.
- Expérience dans le développement et l'orchestration de workflows avec Airflow.
- Capacité à optimiser les performances des traitements Spark : shuffle, skew, partitionnement et broadcast.
- Expérience concrète du RUN et de la gestion des incidents en production.
- Connaissance de Kafka appréciée, notamment sur les problématiques de traitement de données distribuées. Compétences fonctionnelles et techniques :
- Maîtrise de Python et/ou Scala.
- Expertise dans le développement de pipelines Spark et PySpark.
- Bonne connaissance des services AWS, notamment S3 et EMR.
- Expérience dans l'orchestration de traitements avec Airflow.
- Capacité à diagnostiquer les erreurs et à assurer la reprise des traitements.
- Compréhension des architectures Data distribuées et des problématiques de performance.
- Connaissance de Kafka : topics, partitions, consumers et mécanismes de traitement. Tes atouts
- Autonomie technique : Capacité à prendre en charge des développements complexes et à résoudre les problématiques techniques de manière autonome.
- Rigueur & Fiabilité : Sens des responsabilités dans la gestion des traitements et des incidents de production.
- Esprit d'analyse : Capacité à identifier les causes des dysfonctionnements et
à propos
er des optimisations concrètes.
- Compréhension métier : Aptitude à comprendre les besoins fonctionnels et à challenger les demandes pour apporter des solutions pertinentes.
- Proactivité : Force de proposition et capacité à anticiper les difficultés techniques et opérationnelles. Nos avantages
- Remboursement des titres de transport à hauteur de 75%.
- Tickets restaurant pris en charge par STORM GROUP à hauteur de 50% (10,5 euros / jour).
- Accès Gymlib / Wellpass (sport et bien-être).
- Contrat Santé / Prévoyance mis en place
- Développement & Conception Data :
- Développer et maintenir des pipelines de données avec Spark, Scala et Python.
- Assurer l'ingestion, la transformation et le traitement des données.
- Concevoir et développer des workflows d'orchestration avec Airflow.
- Optimiser les performances des traitements Spark.
- Participer aux tests, aux revues de code et aux déploiements des évolutions.
- Contribuer à l'amélioration continue des architectures et des pipelines existants. RUN
- Exploitation & Production :
- Superviser les pipelines de données et assurer leur bon fonctionnement en production.
- Analyser, diagnostiquer et résoudre les incidents liés aux traitements Data.
- Gérer les erreurs d'exécution et assurer les reprises des traitements.
- Fiabiliser les pipelines et maîtriser les dépendances entre les différents workflows.
- Identifier les axes d'amélioration et optimiser les traitements existants.
- Garantir la continuité de service et la qualité des données produites. Collaboration fonctionnelle & Métier :
- Comprendre les besoins métiers et les règles de gestion associées aux traitements de données.
- Collaborer avec les Product Owners dans la définition et le suivi des évolutions.
- Analyser et clarifier les demandes et les tickets lorsque les besoins sont incomplets.
- Être force de proposition sur les évolutions techniques et fonctionnelles.
- Challenger les besoins exprimés afin de proposer des solutions adaptées aux enjeux métiers. Ton profil
Formation:
Bac +5 en informatique, Data Engineering, systèmes d'information ou domaine équivalent.
Expérience:
Expérience confirmée en tant que Data Engineer, avec une solide expertise sur Spark et les environnements AWS. Une expérience significative dans l'exploitation de pipelines en production est attendue. Expertise métier :
- Solide maîtrise d'Apache Spark et PySpark, idéalement Scala.
- Bonne maîtrise de l'écosystème AWS, notamment S3 et EMR.
- Expérience dans le développement et l'orchestration de workflows avec Airflow.
- Capacité à optimiser les performances des traitements Spark : shuffle, skew, partitionnement et broadcast.
- Expérience concrète du RUN et de la gestion des incidents en production.
- Connaissance de Kafka appréciée, notamment sur les problématiques de traitement de données distribuées. Compétences fonctionnelles et techniques :
- Maîtrise de Python et/ou Scala.
- Expertise dans le développement de pipelines Spark et PySpark.
- Bonne connaissance des services AWS, notamment S3 et EMR.
- Expérience dans l'orchestration de traitements avec Airflow.
- Capacité à diagnostiquer les erreurs et à assurer la reprise des traitements.
- Compréhension des architectures Data distribuées et des problématiques de performance.
- Connaissance de Kafka : topics, partitions, consumers et mécanismes de traitement. Tes atouts
- Autonomie technique : Capacité à prendre en charge des développements complexes et à résoudre les problématiques techniques de manière autonome.
- Rigueur & Fiabilité : Sens des responsabilités dans la gestion des traitements et des incidents de production.
- Esprit d'analyse : Capacité à identifier les causes des dysfonctionnements et
à propos
er des optimisations concrètes.
- Compréhension métier : Aptitude à comprendre les besoins fonctionnels et à challenger les demandes pour apporter des solutions pertinentes.
- Proactivité : Force de proposition et capacité à anticiper les difficultés techniques et opérationnelles. Nos avantages
- Remboursement des titres de transport à hauteur de 75%.
- Tickets restaurant pris en charge par STORM GROUP à hauteur de 50% (10,5 euros / jour).
- Accès Gymlib / Wellpass (sport et bien-être).
- Contrat Santé / Prévoyance mis en place