Data Engineer Spark

A LIRE ATTENTIVEMENT AVANT DE POSTULER 2 à 3 jours de télétravail / semaine
- Lyon (07)
- Expérience de 5 ans minimum Vous aimez travailler sur toute la chaîne de traitement de la donnée, de la compréhension des besoins métier jusqu'à sa restitution ? Nous recherchons actuellement un.e Data Engineer Spark & PySpark / Databricks pour rejoindre l'équipe Data/BI de l'un de nos clients. Votre mission : faire évoluer l'architecture décisionnelle existante, développer et optimiser les traitements de données et participer à une migration vers Databricks. Un poste qui combine développement, modélisation de données et échanges avec les équipes métier. Votre mission : faire évoluer la plateforme Data Vous interviendrez sur les différentes étapes de la chaîne décisionnelle, depuis l'identification des données jusqu'à leur exploitation pour le reporting métier. Concrètement, vous serez amené à :
- Comprendre les besoins métier : échanger avec les interlocuteurs métier, analyser leurs attentes et identifier les données nécessaires.
- Concevoir et faire évoluer les modèles de données : enrichir les entrepôts de données et les datamarts pour répondre aux besoins de reporting.
- Développer les traitements Data : concevoir des pipelines d'intégration et des traitements Spark pour transformer et préparer les données.
- Améliorer la qualité et les performances : contrôler, nettoyer les données et optimiser les traitements existants.
- Participer à la migration vers Databricks : contribuer à l'évolution de l'architecture et des traitements dans le cadre de cette migration.
- Assurer la fiabilité des développements : réaliser les tests, documenter les solutions, participer aux déploiements et assurer la maintenance. Votre environnement technique : Vous évoluerez dans un environnement associant technologies Big Data, bases de données et outils décisionnels. La stack de l'équipe :
- Traitement des données : Apache Spark, Databricks, PySpark
- Bases de données et stockage : Oracle, S3, Parquet
- Intégration et reporting : Informatica, Tableau
- Gestion de code et déploiement : Git, Jenkins Ce qui fera la différence Vous avez déjà une expérience en BI ou en Data Engineering et vous souhaitez intervenir aussi bien sur la construction des traitements que sur l'évolution d'une architecture décisionnelle. Pour être à l'aise sur cette mission :
- Spark & PySpark sont indispensables : vous savez les utiliser pour développer et optimiser des traitements de données.
- Vous avez une très bonne maîtrise de SQL, notamment pour manipuler, transformer et exploiter les données.
- Vous avez une expérience en modélisation de données, utile pour concevoir et faire évoluer les entrepôts de données et les datamarts.
- Vous êtes capable de comprendre les besoins métier et de les traduire en solutions techniques adaptées. Une connaissance de Python et/ou Java sera appréciée. Au-delà des compétences techniques, nous recherchons une personne rigoureuse, autonome et à l'aise dans les échanges avec les équipes métier. Si vous êtes prêt.e à relever ce défi et à contribuer à des projets stimulants, n'hésitez pas à postuler dès maintenant Bienvenue chez CELAD
- L'ingénierie à visage humain Née en 1992 à Toulouse, au coeur d'un écosystème technologique dynamique, l'entreprise a connu une croissance continue, portée par une vision claire : placer l'expertise, l'innovation et la proximité client au coeur de chaque projet. Que ce soit dans l'aéronautique, la défense, l'automotive, les télécoms, la santé ou encore la banque, nous accompagnons nos clients dans leurs enjeux technologiques les plus complexes. Grâce à un maillage national solide et à une culture d'entreprise fondée sur la confiance et l'engagement, nous comptons aujourd'hui plus de 1 800 collaborateurs répartis sur l'ensemble du territoire. Cette histoire, bâtie sur l'excellence technique et la passion des équipes, continue de s'écrire chaque jour au service de la performance de nos clients. Notre mission ?
- Accompagner les entreprises dans leur transformation numérique
- Le faire avec passion, engagement et respect
- En mettant toujours l'humain au coeur du projet Une présence forte en région : focus sur CELAD-Lyon Basée au coeur d'une région en pleine dynamique tech, l'antenne lyonnaise propose des missions à forte valeur ajoutée dans toute l'Auvergne-Rhône-Alpes. Nos consultants interviennent sur des projets variés, en autonomie ou en équipe, avec un suivi de proximité. Nos équipes couvrent un large spectre d'expertises : développement logiciel, architecture applicative & embarquée, data, DevOps & cloud, informatique industrielle, méthodes/industrialisation, tests, essais