Développeur Big Data
Il y a 7 jours
Lyon, Rhône-Alpes, France
Kaizen Solutions
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Contexte du poste Au sein d'une Direction des Systèmes d'Information, le pôle concerné assure la conception, le développement, le maintien en condition opérationnelle et l'évolution de systèmes d'information traitant des données massives issues d'équipements connectés et de réseaux. L'équipe mène des études et développe des produits data innovants (maintenance prédictive, mobilité électrique, analyse de charges réseau), en lien étroit avec les métiers, pour optimiser l'exploitation des actifs et favoriser de nouveaux usages. Stack technique : Python, pySpark, Hadoop/HDFS (migration vers Databricks/Delta Lake en cours), Airflow, PostgreSQL, GitLab/GitLab-CI/CD, Jira/Confluence, PowerBI. Vos missions Développement de pipelines de données
- Conception, développement et optimisation de pipelines pySpark traitant de gros volumes de données (plusieurs dizaines de millions de lignes)
- Mise à disposition de données dans le datalake d'entreprise
- Maintenance évolutive et corrective des chaînes de traitement en production Supervision et qualité des données
- Mise en place d'outils de supervision technique et de qualité des données avec l'équipe DevOps
- Contribution au run des traitements en production (monitoring, alerting, contrôle qualité) Architecture et conseil
- Propositions de conception et d'architecture (traitements, modèles de données), avec l'appui du Tech Lead
- Accompagnement des data scientists de l'équipe dans l'industrialisation de leurs codes d'étude et d'expérimentation
- Rôle de conseil en data engineering auprès de l'équipe et d'autres projets Migration Cloud
- Contribution à la préparation et à la réalisation de la migration vers Databricks Veille et partage de connaissances
- Veille technologique sur les outils et pratiques de data engineering (Spark, Databricks, Cloud)
- Partage de connaissances et formation aux bonnes pratiques (qualité de code, tests, performance Spark) Participation et intéressement / Politique salariale annuelle / PEE et PERECOL / CSE avec cagnotte individuelle (200€/an) + activités de groupe / Télétravail flexible selon accord manager / Téléphone professionnel / Tickets restaurant 8,50€ / Mutuelle Malakoff Médéric Eco Activ 9 / Forfait mobilité durable jusqu'à 600€/an. Kaizen Solutions ? Kaizen Solutions est une société de conseil (ESN) spécialisée dans les systèmes d'information complexes. Nous accompagnons nos clients, de la start-up aux grands groupes industriels, dans la conception et le développement de solutions logicielles sur mesure, sur l'ensemble de la chaîne technique, du capteur jusqu'au cloud. Notre promesse employeur est simple : Travailler chez Kaizen, c'est le meilleur moyen de progresser rapidement. Nos équipes sont composées de profils passionnés, qui ont envie d'apprendre, de partager et de transmettre, dans un environnement où l'expertise technique et la montée en compétences sont réellement valorisées. Oubliez tout ce que vous connaissez ou pensez connaître sur les ESN, et découvrez qui nous sommes (on est vraiment différents, et on a hâte de vous expliquer de vive voix pourquoi)
- Conception, développement et optimisation de pipelines pySpark traitant de gros volumes de données (plusieurs dizaines de millions de lignes)
- Mise à disposition de données dans le datalake d'entreprise
- Maintenance évolutive et corrective des chaînes de traitement en production Supervision et qualité des données
- Mise en place d'outils de supervision technique et de qualité des données avec l'équipe DevOps
- Contribution au run des traitements en production (monitoring, alerting, contrôle qualité) Architecture et conseil
- Propositions de conception et d'architecture (traitements, modèles de données), avec l'appui du Tech Lead
- Accompagnement des data scientists de l'équipe dans l'industrialisation de leurs codes d'étude et d'expérimentation
- Rôle de conseil en data engineering auprès de l'équipe et d'autres projets Migration Cloud
- Contribution à la préparation et à la réalisation de la migration vers Databricks Veille et partage de connaissances
- Veille technologique sur les outils et pratiques de data engineering (Spark, Databricks, Cloud)
- Partage de connaissances et formation aux bonnes pratiques (qualité de code, tests, performance Spark) Participation et intéressement / Politique salariale annuelle / PEE et PERECOL / CSE avec cagnotte individuelle (200€/an) + activités de groupe / Télétravail flexible selon accord manager / Téléphone professionnel / Tickets restaurant 8,50€ / Mutuelle Malakoff Médéric Eco Activ 9 / Forfait mobilité durable jusqu'à 600€/an. Kaizen Solutions ? Kaizen Solutions est une société de conseil (ESN) spécialisée dans les systèmes d'information complexes. Nous accompagnons nos clients, de la start-up aux grands groupes industriels, dans la conception et le développement de solutions logicielles sur mesure, sur l'ensemble de la chaîne technique, du capteur jusqu'au cloud. Notre promesse employeur est simple : Travailler chez Kaizen, c'est le meilleur moyen de progresser rapidement. Nos équipes sont composées de profils passionnés, qui ont envie d'apprendre, de partager et de transmettre, dans un environnement où l'expertise technique et la montée en compétences sont réellement valorisées. Oubliez tout ce que vous connaissez ou pensez connaître sur les ESN, et découvrez qui nous sommes (on est vraiment différents, et on a hâte de vous expliquer de vive voix pourquoi)