Data Engineer Spark/scala
il y a 7 jours
Développement et l?implémentation de solutions Big Data Analytics
Analyse du besoin, étude d?impacts et conception de la solution technique
Conception et modélisation des données au niveau d?un Data Lake (format Parquet, Delta table, )
Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake
**Développements de notebooks (ex**: Databricks) de traitements avancés des données
Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL)
Rédaction de documentation technique (Dossier d?Analyse Technique, release delivery note,.)
Revue de code
Réalisation de tests unitaires
Maintenance corrective et évolutive
Livraison dans un environnement Devops, CI/CD et outils associés
Un profil avec une forte expérience sur Azure data bricks, Spark ,Scala
-
DATA ENGINEER Scala, Spark, AWS
Il y a 5 minutes
Paris, Île-de-France emagine Temps pleinIntroductionemagine recherche un Data engineer pour l'un de ces clients finaux dont le rôle sera de concevoir et implémenter des pipelines d'ingestion de données tout en garantissant la performance et la scalabilité des processus de données.Durée : 36 mois maximumPrestation en freelance à temps plein en mode hybride (2 jours par...
-
Data Ingénieur Spark Scala
Il y a 20 minutes
Paris, Île-de-France Audensiel Temps pleinAudensiel Technologies, société d'ingénierie avec le statut de Jeune Entreprise Innovante, est une structure à taille humaine en forte croissance. Nous sommes mobilisés autour de valeurs telles que l'innovation technologique, l'écoute et la réactivité.Nous développons en interne, au sein du groupe Audensiel, plusieurs projets d'innovation qui nous...
-
Data Engineer
il y a 4 jours
Paris, France Cherry Pick Temps pleinCherry Pick est à la recherche d'un Data Engineer pour l'un de ses clients dans le secteur du luxe. **Missions**: Concevoir et développer des pipelines de données performants pour répondre aux besoins spécifiques du secteur du luxe. Traiter et transformer des données massives en utilisant Spark et Scala. Implémenter et maintenir des modèles de...
-
Data Engineer Spark
il y a 4 jours
Paris, France UCASE CONSULTING Temps pleinBonjour, Pour le compte de notre client nous recherchons un data engineer spark / python / databricks / azure. Attentes: - Spark/Python (API dataframe, dataset, rdd) + Librairie ScalaTest - Expérience Azure, incluant les composants Azure : ADLS, DataBricks, Azure Data Factory, Azure), DevOps (terraform, docker, kubernetes), Azure Functions, KeyVault -...
-
Data Engineer
il y a 2 semaines
Paris, France Cherry Pick Temps pleinLa mission consiste à intégrer l'équipe Projets en charge de l'intégration des données de l'entreprise au sein de la plateforme Data sous le Cloud Azure afin de couvrir les besoins Big Data et BI de nos métiers. La personne sera intégrée dans l'équipe projet qui fonctionne dans une organisation en mode Agile. **Description de la mission**: Nous...
-
Data Engineer Spark
il y a 2 semaines
Paris, France UCASE CONSULTING Temps pleinJe recherche pour l?un de mes clients dans le domaine Banque/Assurance un Data Engineer. Contexte: En tant que Data Engineer vous participerez à la continuité du déploiement de notre architecture BigData: Missions: - Maintenir le code existant - Concevoir et développer de nouvelles fonctions - Mettre en place des pipelines de données. - Metttre en...
-
Data Engineer Spark
Il y a 31 minutes
Paris, Île-de-France Sibylone Temps pleinCDISIBYLONE, société de conseil spécialisée dans les systèmes d'information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l'entreprise autonomes dans l'exploitation des données,...
-
Data Engineer Confirmé
il y a 2 semaines
Paris, France Kaïbee Temps pleinEn tant que Data Engineer, vous jouerez un rôle clé dans la conception, le développement et la maintenance de pipelines de données robustes et évolutifs. Vous travaillerez en étroite collaboration avec les équipes de data scientists et d?analystes pour garantir la disponibilité et la qualité des données. **Vos missions principales**: ? Concevoir et...
-
Data Engineer Advanced
Il y a 42 minutes
Paris, Île-de-France Free-Work Temps pleinContexteNous recherchons unData Engineer confirmé à seniorpour intervenir au sein d'ungrand groupe international du secteur de l'énergie.La mission s'inscrit dans un environnementdata critique, lié à l'exploitation dedonnées de marchéet à la production d'indicateurs et d'alertes à forte valeur métier.Le système cible repose sur une...
-
Data Engineer AWS
Il y a 30 minutes
Paris, Île-de-France Cherry Pick Temps pleinDans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l?analyse de leurs données et KPI.Les infrastructures et projets incluent :AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI,...