Senior Data Engineer – Spark/Databricks
Il y a 1 jour
Fresnes, Ile-de-France
NEOSYS
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Contexte de la mission
Dans le cadre d’un projet stratégique dans le secteur bancaire, nous recherchons un Consultant Senior Data Engineer pour renforcer une équipe Data et contribuer à la conception, au développement et à l’industrialisation de solutions Data au sein d’un environnement Cloud moderne.
Vous interviendrez sur des sujets à fort enjeu autour des Data Platforms, Data Lake / Lakehouse et Databricks.
Missions
• Concevoir, développer et industrialiser des pipelines Data.
• Développer des traitements distribués avec PySpark / Spark et SQL.
• Participer à la conception et à l’évolution de solutions Data Lake / Data Lakehouse.
• Développer et optimiser des traitements sur Databricks.
• Assurer l’ingestion, la transformation et la mise à disposition des données.
• Garantir la performance, la fiabilité et la qualité des traitements.
• Participer à l’industrialisation des workflows et aux processus CI/CD.
• Collaborer avec les équipes Data, Architecture, Cloud et métiers.
• Contribuer à l’amélioration continue de la plateforme et à la mise en place des bonnes pratiques Data Engineering.
• Participer à la veille technologique sur les solutions et architectures Data. Environnement technique Databricks – PySpark – Apache Spark – Python – SQL – Delta Lake – Data Lake / Lakehouse – Azure et/ou AWS – CI/CD – Git Une connaissance de Snowflake, Microsoft Fabric ou des outils d’orchestration Data serait un plus.
Profil recherché
• Bac+5 en informatique, Data Engineering, Data Science ou formation équivalente.
• 5 ans d’expérience minimum en Data Engineering.
• Expérience significative sur Databricks et PySpark.
• Très bonne maîtrise de Python et SQL.
• Bonne connaissance des architectures Data Lake / Data Lakehouse.
• Expérience sur un environnement Cloud Azure et/ou AWS.
• Solide expérience dans la conception et l’industrialisation de pipelines Data.
• Sensibilité aux enjeux de Data Quality, Data Governance et sécurité des données.
• Capacité à évoluer dans des environnements complexes et à forts enjeux.
• Autonomie, rigueur, esprit d’analyse et bonnes capacités de communication.
• Une expérience dans le secteur bancaire/financier est un plus.
• Anglais professionnel.
• Concevoir, développer et industrialiser des pipelines Data.
• Développer des traitements distribués avec PySpark / Spark et SQL.
• Participer à la conception et à l’évolution de solutions Data Lake / Data Lakehouse.
• Développer et optimiser des traitements sur Databricks.
• Assurer l’ingestion, la transformation et la mise à disposition des données.
• Garantir la performance, la fiabilité et la qualité des traitements.
• Participer à l’industrialisation des workflows et aux processus CI/CD.
• Collaborer avec les équipes Data, Architecture, Cloud et métiers.
• Contribuer à l’amélioration continue de la plateforme et à la mise en place des bonnes pratiques Data Engineering.
• Participer à la veille technologique sur les solutions et architectures Data. Environnement technique Databricks – PySpark – Apache Spark – Python – SQL – Delta Lake – Data Lake / Lakehouse – Azure et/ou AWS – CI/CD – Git Une connaissance de Snowflake, Microsoft Fabric ou des outils d’orchestration Data serait un plus.
Profil recherché
• Bac+5 en informatique, Data Engineering, Data Science ou formation équivalente.
• 5 ans d’expérience minimum en Data Engineering.
• Expérience significative sur Databricks et PySpark.
• Très bonne maîtrise de Python et SQL.
• Bonne connaissance des architectures Data Lake / Data Lakehouse.
• Expérience sur un environnement Cloud Azure et/ou AWS.
• Solide expérience dans la conception et l’industrialisation de pipelines Data.
• Sensibilité aux enjeux de Data Quality, Data Governance et sécurité des données.
• Capacité à évoluer dans des environnements complexes et à forts enjeux.
• Autonomie, rigueur, esprit d’analyse et bonnes capacités de communication.
• Une expérience dans le secteur bancaire/financier est un plus.
• Anglais professionnel.