Data Engineer Spark Scala
il y a 2 jours
Budget: 570
Contexte
Mission basée à Lille. Au sein de l'équipe Data Stock, la mission vise à accompagner les utilisateurs sur la gestion des stocks tout au long de leur parcours (création des composants à la vente). Les indicateurs produits sont utilisés par la production, la supply chain, le retail et la finance. Équipe : 2 PO, 4 développeurs, 1 techlead. Présence sur site avec télétravail.
Missions principales
- Construire de nouveaux indicateurs et fiabiliser les indicateurs existants.
- Comprendre un modèle de donnée et s'en servir.
- Aider l'équipe à faire les meilleurs choix techniques.
- Apporter une expertise sur la conception des indicateurs.
- Maîtriser les bases de données et les outils de transformation.
- Transformer une donnée brute en un indicateur.
- Respect des engagements de sprint, qualité des conceptions et des développements, partage des savoir-faire et proactivité sur les code reviews.
- Amélioration continue de la qualité et de la disponibilité des données.
- Documentation associée aux travaux mis en production.
- Attention particulière à la maîtrise du SQL et de Spark Scala, au développement collaboratif et à la qualité du code, ainsi qu'à l'autonomie et la force de proposition sur les sujets techniques Data.
Profil recherché
- Tu as plus de 1 an d'expérience en tant que Data Engineer Spark Scala.
- Tu as déjà travaillé sur la stack AWS (S3/Redshift) et tu maîtrises ces composants.
- Tu aimes travailler en agilité dans un environnement collaboratif (GitHub, Mob programming).
- Ton bon niveau d'anglais te permet de comprendre et d'interagir avec tes homologues à l'international.
Stack technique (non exhaustive)
- Transfo : Spark (Scala), Databricks (explo and Indus), DBT (SQL)
- Langage : Scala, SQL
- BDD : Druid
- Datalake : S3 (AWS)
- Versionning CI/CD : GitHub, GitHub Actions
- Ordonnanceur : Airflow
- Data Catalog (Glue + Unity)
Compétences
- GITHUB : Confirmé
- SCALA : Avancé
- sql : Confirmé
- AWS CLI : Avancé
Langues
- Français : Courant
- Anglais : Courant
-
Lead Data Engineer Lille
Il y a 31 minutes
Lille, Hauts-de-France Ippon Technologies Temps pleinMembre de la Practice Data, notre futur Lead Data Engineer sera intégré à nos équipes de conseil (discovery to delivery power) avec la mission de transformer et d'affiner la donnée au sein de nos projets clients (secteur et taille variés), ainsi que de faire le lien entre les équipes IT et métiers (business expert, data scientist, data...
-
Senior Data Engineer F/H
il y a 2 semaines
Lille, Hauts-de-France Devoteam Data Driven Temps pleinPrésentation de l'agenceUne agence multi spécialiste de plus de 40 collaborateurs qui forment des communautés d'experts sur le Cloud & DevOps, la data et la gestion de projet. Devoteam Lille accompagne ses clients dans une transformation digitale durable. À l'agence de Lille, les consultants peuvent intégrer nos clubs happiness Running, Gastronomy,...
-
Architecte Data IoT
il y a 2 semaines
Lille, Hauts-de-France Cherry Pick Temps pleinEn quelques motsCherry Pick est à la recherche d'un "Architecte Data IoT" pour un client dans le secteur du retail.DescriptionLa Data est centrale dans notre écosystème IoT : elle alimente la BI, la maintenance prédictive, la détection d'accidents et la conception intelligente de nos futurs produits.? Votre Mission : Architecturer la Data de l'IoT du...
-
Senior Data engineer H/F
il y a 2 jours
Lille, Hauts-de-France Devoteam Temps pleinDescription de l'entreprise Présentation de l'agenceUne agence multi spécialiste de plus de 40 collaborateurs qui forment des communautés d'experts sur le Cloud & DevOps, la data et la gestion de projet. Devoteam Lille accompagne ses clients dans une transformation digitale durable. A l'agence de Lille, les consultants peuvent intégrer nos clubs...
-
Stagiaire Data Engineer
il y a 2 jours
Lille, Hauts-de-France Ippon Technologies Temps pleinOffre de Stage – Data Engineer (6 mois – Lille) – Démarrage Février/Mars 2026 Tu es étudiant(e) en dernière année d'école d'ingénieur ou en Master 2 informatique / spécialité Data ? Tu t'intéresses au monde de la data, tu aimes coder et tu souhaites découvrir concrètement le métier de Data Engineer, en travaillant sur des projets...
-
Data Engineer
il y a 7 jours
Lille, Hauts-de-France Groupe SII Temps pleinData Engineer (H/F) - Lille Vous êtes un(e) Data Engineer chevronné(e), passionné(e) par l'exploitation de données massives pour concevoir des solutions d'intelligence artificielle innovantes ? Chez SII Nord, nous vous proposons de rejoindre une équipe dynamique (et sympa ) de passionné·es pour participer à l'évolution de projets innovants et...
-
Data Engineer H/F
il y a 3 jours
Lille, Hauts-de-France Neosoft Temps pleinTous nos postes sont ouverts au télétravailGroupe indépendant de conseil en transformation digitale de près de 1800 collaborateurs, Néosoft s'est construit, depuis 2005, sur un modèle qui place l'excellence, le dépassement de soi et la RSE au cœur de sa stratégie.En nous rejoignant, vous intégrez des communautés d'experts et de talents qui vous...
-
Data Engineer
il y a 2 semaines
Lille, Hauts-de-France Randstad Digital Temps pleinRandstad Digital est un groupe international de Conseil & d'Ingénierie en Hautes Technologiesavec un business model fondé sur une forte culture de l'innovation et une complémentarité métier entre les systèmes d'information et les systèmes industriels.Nos services s'articulent autour des quatre domaines d'expertise suivants :l'expérience client,...
-
data engineer
il y a 2 semaines
Lille, Hauts-de-France Randstad Temps pleinRandstad Digital accompagne ses clients dans leurs projets de transformation numérique en leur apportant des expertises pointues, des équipes dédiées et des solutions sur-mesure dans quatre grands domaines :L'expérience utilisateur (UX/UI)L'ingénierie produit et numériqueLes données & analyticsLa transformation CloudAvec collaborateurs à travers le...
-
Data Engineer
il y a 5 jours
Lille, Hauts-de-France eXalt Temps pleinDescriptif du posteeXalt Lille, filiale du groupe spécialisé sur les métiers du Product & Project Management et notre nouvelle expertise Tech, recherche son/sa nouveau/elleData Engineer / Analytics Engineer Seniorpour aller à la conquête de nouveaux projets techniques Vous évoluerez dans un contexte multi sociétés et challengeant.Vous serez...