Data Engineer AWS Spark Scala

Il y a 2 jours

Paris, Ile-de-France eXalt Temps plein
Le Data Office a pour mission de consolider, manager et valoriser le patrimoine de données, qui est un capital stratégique de l’entreprise, via le développement de produits et services data transverses à l'organisation et au service du business. Au sein du Data Office, l’équipe Core Data a pour objectif de développer et maintenir une plateforme data centralisée, sécurisée et fiable pour les différents usages de l’ensemble des directions métier. Elle est notamment responsable d’un datalake opérationnel sur le cloud AWS et d’un patrimoine applicatif de job de transformation et production de données (Scala Spark). Elle assure également la maintenance de la plateforme Dataiku. L’équipe est composée de différents profils (Product Owner, Scrum Master, Data Engineer, Architecte...) et travaille en mode agile Safe avec les équipes de développement produit, les équipes métier et en collaboration avec les équipes de Business Intelligence, Data Science et Data Analyse au sein du Data Office.
•

Description du poste
Au sein de l’équipe, les ingénieurs data ont deux principales

missions:
Maintien en condition opérationnelle de la plateforme : Contrôler et assurer la disponibilité des données et des services de la plateforme Communiquer aux utilisateurs de la plateforme Répondre aux demandes de données ad’hoc ou analyses d’anomalies Développer des évolutions ou correctifs si nécessaire Contribuer à la qualité des données et à l'exploitation industrielle de la plateforme Design et construction de services et de pipelines de données performants et fiables : Mettre en place des flux de données (acquisition, transformation ou export) Réaliser des modélisations de données Développer des pipelines de transformations Réaliser l’ensemble des tests unitaires et d’intégrations S’assurer de la qualité des développements et du respect des standards à travers les revues de code Ordonnancer et gérer les dépendances entre les traitements Réaliser les déploiements sur tous les environnements Enrichir et maintenir le patrimoine documentaire de la plateforme Ce poste nécessite des compétences en gestion de données et programmation avec un minimum de 5 années d’expérience dans un contexte de grande volumétrie de données, et la capacité à collaborer avec de nombreux interlocuteurs simultanément. Les principales compétences requises sont les suivantes : Maîtrise avancée de Spark Scala, Python et SQL Expérience significative sur AWS (S3, EMR, EKS, EC2, Lambda, Athena...) Bonne connaissance de Dataiku (développement de flow et de webapp) Kafka (MSK), connecteurs pour récupération ou émission de données en temps réel Ordonnanceur (Airflow) Outil de versionning (GITLAB) et connaissances en CI/CD (GITLAB CI, Maven) Connaissance en infra as code (Terraform) Traitements de différents types de fichier (csv, xml, json, parquet) Comprendre et s’adapter aux problématiques d’infrastructure en termes de performance, sécurité et coûts SOFT

SKILLS:
Méthodologie Scrum/Safe Excellent esprit d’équipe, de collaboration, d’échange de connaissance et d’amélioration continue Compréhension des enjeux fonctionnels et business Diffusion de l’acculturation Data et des bonnes pratiques d’utilisation S’intéresser à des sujets variés et savoir s’adapter aux priorités Savoir communiquer avec des profils très différents (experts techniques, utilisateurs métier, développeurs) Forte rigueur dans la démarche au quotidien (documentation, traçabilité) Aisance à vulgariser votre travail à vos différents interlocuteurs Le processus de recrutement chez eXalt se déroule en 5 étapes, avec un objectif de réalisation en 2 semaines maximum. 1. Préqualification — 10 à 15 minutesAvec le DSM. Un premier échange téléphonique pour faire connaissance, comprendre les attentes du candidat et vérifier les principaux éléments : parcours, disponibilité et intérêt pour eXalt. 2. Entretien 1 — 1 heureAvec le DSM. Un échange plus approfondi sur les expériences, les compétences et le projet professionnel du candidat. C’est aussi l’occasion de présenter eXalt et les missions possibles. 3. Entretien 2 — 1 heureAvec un DSM Coach ou un membre de l’équipe Talent Acquisition. Un second regard pour approfondir le profil, les motivations et l’adéquation avec les besoins et l’environnement d’eXalt. 4. Entretien 3 — 1 heureAvec le directeur général. Un échange final pour confirmer l’intérêt mutuel, partager la vision de l’entreprise et discuter de la projection du candidat chez eXalt. 5. Proposition d’embauche et signature du contratAvec les RH et le DSM. Présentation de la proposition d’embauche, explication des conditions et du contrat, puis signature si les deux parties souhaitent avancer. En résumé : un premier appel, trois entretiens, puis la proposition d’embauche et la signature.