data engineer spark
il y a 7 jours
Bonjour ?,
Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure.
Missions principales :
Participer au développement des User Stories (US) et réalisation des tests associés.
Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d?exploitation.
Mettre en place et maintenir le CI/CD sur l?usine logicielle.
Assurer la mise en place du monitoring.
Collaborer étroitement avec l?équipe projet ; pas de responsabilité de production individuelle.
Travailler dans un environnement agile avec priorisation et gestion multi-projets.
Compétences techniques indispensables :
Maîtrise de Scala et Spark (batch principalement).
Optimisation des jobs Spark et traitement de volumétries importantes / complexes.
Bonnes pratiques de développement Scala et build Maven.
Expérience en environnement cloud, idéalement Azure.
Compétences techniques appréciées :
Écosystème Databricks
Azure Functions et Azure Data Factory
Monitoring sous Datadog
Déploiement avec Ansible
Compétences transverses :
Aisance relationnelle et esprit d?équipe
Autonomie, rigueur et esprit d?analyse
Capacité de synthèse et force de proposition
Sens des priorités et respect des délais
Appétence client et compréhension métier / fonctionnelle
Mentoring et partage de connaissances
Profil candidat:
Profil confirmé ou senior (4 à 10 ans XP)
Expérience et formation :
Bac+3 à Bac+5 en informatique
Minimum 5 ans d?expérience en tant que Data Engineer
Bon niveau d?anglais technique
-
Data Engineer
il y a 3 jours
Paris, Île-de-France MP Data Temps pleinEn tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au coeur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables. Vos...
-
Data Engineer
il y a 7 jours
Paris, Île-de-France MP DATA Temps pleinEn tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...
-
Data Engineer Expérimenté
il y a 7 jours
Paris, Île-de-France MP DATA Temps pleinNous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...
-
Data Engineer – Spark Specialist
il y a 2 semaines
Paris, Île-de-France Dataiku Temps pleinDataiku is The Universal AI Platform, giving organizations control over their AI talent, processes, and technologies to unleash the creation of analytics, models, and agents. Providing no-, low-, and full-code capabilities, Dataiku meets teams where they are today, allowing them to begin building with AI using their existing skills and knowledge.About the...
-
Data Engineer Spark
il y a 2 semaines
Paris, Île-de-France Sibylone Temps pleinCDISIBYLONE, société de conseil spécialisée dans les systèmes d'information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l'entreprise autonomes dans l'exploitation des données,...
-
DATA ENGINEER Scala, Spark, AWS
il y a 1 semaine
Paris, Île-de-France emagine Temps pleinIntroductionemagine recherche un Data engineer pour l'un de ces clients finaux dont le rôle sera de concevoir et implémenter des pipelines d'ingestion de données tout en garantissant la performance et la scalabilité des processus de données.Durée : 36 mois maximumPrestation en freelance à temps plein en mode hybride (2 jours par...
-
Data Ingénieur Spark Scala
il y a 1 jour
Paris, Île-de-France Audensiel Temps pleinAudensiel Technologies, société d'ingénierie avec le statut de Jeune Entreprise Innovante, est une structure à taille humaine en forte croissance. Nous sommes mobilisés autour de valeurs telles que l'innovation technologique, l'écoute et la réactivité.Nous développons en interne, au sein du groupe Audensiel, plusieurs projets d'innovation qui nous...
-
Data Engineer
il y a 1 semaine
Paris, Île-de-France BIFORA Temps pleinIntégré(e) aux équipes Data (Data Engineers, BI, Sécurité, Infrastructure), vous interviendrez sur la conception, le développement et l?industrialisation des pipelines data dans un environnement Azure.Vos principales responsabilités : Concevoir des pipelines d?ingestion et de transformation (batch et near-real-time)Développer et maintenir des flux...
-
Data Engineer
il y a 5 jours
Paris, Île-de-France Happy Hire Temps pleinLeader de la distribution numérique (audio et video), cet acteur renforce actuellement son équipe Data Engineering sur la partie retail.Rattaché au Teamlead, vous rejoindrez une squad agile composée de 6 developers et 2 Data Engineers pour travailler sur leur plateforme ingestion.Environnement Technique : Snowflakes / Airflow / Data Bricks / Spark /...
-
Data Engineer Databricks
il y a 1 semaine
Paris, Île-de-France accure Temps pleinAfin de renforcer notre équipe de consultants nous recherchons actuellement un Data Engineer confirmé.Nb: il s'agit d'un recrutement CDIData / BigData Engineer :bac +5, diplôme ingénieur ou équivalent2+ années d'expérience en entreprise dans le domaine de la data / BI / big dataExpérience précédente dans le consulting appréciéeRégion...