Data Engineer Java

Il y a 11 heures

Lyon, Auvergne-Rhône-Alpes, France PROXIAD Temps plein
Localisation : Kyon Secteur : Retail

Expérience:
3 à 7 ans Démarrage : Dès que possible Contexte de la mission Dans le cadre du renforcement de notre équipe chez un acteur majeur de la grande distribution, nous recherchons un(e) Data Engineer Java / Scala – GCP pour intervenir sur des projets stratégiques au sein de sa Data Platform. Vous intégrerez une équipe pluridisciplinaire composée de développeurs, d'un Tech Lead, de Product Owners et d'un Product Manager. La mission s'inscrit dans un environnement technique exigeant, autour des référentiels articles et magasins, avec des enjeux importants de fiabilité, de performance et de valorisation des données. Vos missions
• Concevoir, développer et maintenir des pipelines de données robustes et performants sur Google Cloud Platform (GCP).
• Développer et optimiser des traitements de données distribuées avec Java / Scala, Apache Spark et Kafka.
• Assurer l'ingestion, la transformation et l'exploitation de volumes importants de données.
• Développer et optimiser des requêtes SQL complexes sur BigQuery.
• Concevoir et maintenir des pipelines de transformation avec DBT.
• Mettre en œuvre des flux de données en temps réel avec Pub/Sub.
• Participer à l'intégration de solutions d'IA générative et d'agents IA dans les flux de données.
• Automatiser les processus de déploiement et d'intégration continue avec GitLab CI/CD.
• Garantir la qualité, la fiabilité et la performance des traitements.
• Collaborer avec les équipes techniques et fonctionnelles dans un environnement Agile/Scrum. Environnement technique
• Langages : Java, Scala, SQL avancé
• Cloud : Google Cloud Platform (GCP)
• Data Engineering : Apache Spark, Apache Kafka, DBT
• Bases de données : BigQuery
• Streaming : Google Pub/Sub
• DevOps / CI-CD : GitLab CI/CD, Docker Compose, Git
• Systèmes : Linux
• Méthodologie : Agile / Scrum

Profil recherché
De formation Bac+5 en informatique ou équivalent, vous justifiez d'une expérience de 3 à 7 ans en Data Engineering, idéalement dans des environnements Cloud et Big Data. Vous disposez :
• D'une solide expertise en développement Java et/ou Scala.
• D'une bonne maîtrise des concepts de programmation fonctionnelle.
• D'une expérience significative sur GCP, notamment BigQuery et Pub/Sub.
• D'une maîtrise des technologies Spark, Kafka et DBT.
• D'une expérience dans le traitement et l'optimisation de gros volumes de données.
• D'une bonne connaissance des pratiques CI/CD et des environnements Linux.
• D'une capacité à travailler en autonomie tout en collaborant efficacement avec une équipe technique. Une expérience dans le secteur du retail ou de la grande distribution serait particulièrement appréciée. Une première expérience ou un intérêt pour l'IA générative et les agents IA constitue également un atout. Pourquoi rejoindre cette mission ? Vous interviendrez sur des projets Data à forte valeur ajoutée, au sein d'un environnement technologique moderne, avec l'opportunité de contribuer à des initiatives innovantes autour de l'IA générative. Intéressé(e) ? Vous souhaitez relever ce défi technique et contribuer à des projets Data d'envergure ? Postulez directement à cette offre ou contactez-nous pour échanger sur cette opportunité.