Data Engineer Spark Senior
il y a 1 mois
Analyse des Exigences :
Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement.
Conception de Solutions :
Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark.
Proposer des modèles de données adaptés aux cas d'utilisation spécifiques.
Développement de Pipelines de Données :
Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données.
Utiliser Spark Streaming pour le traitement en temps réel des flux de données.
Optimisation des Performances :
Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations.
Gestion des Versions :
Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark.
Tests et Validation :
Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression.
Valider la qualité des données à différentes étapes du pipeline.
Déploiement et Monitoring :
Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel.
Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité.
Sécurité :
Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline.
Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données.
Documentation :
Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques.
Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.
-
Senior Data Engineer
il y a 2 semaines
Paris, France Pulsover Temps pleinÀ propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et...
-
Senior Data Engineer
il y a 2 semaines
Paris, France Pulsover Temps pleinÀ propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et à...
-
Senior Data Engineer
il y a 2 semaines
Paris, Ile-de-France Pulsover Temps pleinÀ propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et...
-
Data Engineer
il y a 4 semaines
Paris, France Data Recrutement Temps pleinOffre publiée le 20-03-2024.- Paris - Fonction Data engineer hadoop spark - Taille entreprise de 21 à 50 - Télétravail partiel - Technologies Azure - Technologies Etl - Technologies Spark - Expérience 3 à 5 ans - Statut CDI - Min 60k€ - Max 70k€ - Why: - **Entreprise rentable**: - **Challenger sur son marché**: - **Entreprise à...
-
Data Engineer Spark
il y a 1 mois
Paris, France UCASE CONSULTING Temps pleinJe recherche pour l?un de mes clients dans le domaine Banque/Assurance un Data Engineer. Contexte: En tant que Data Engineer vous participerez à la continuité du déploiement de notre architecture BigData: Missions: - Maintenir le code existant - Concevoir et développer de nouvelles fonctions - Mettre en place des pipelines de données. - Metttre en...
-
Data Engineer senior Spark
il y a 2 semaines
Paris, France Sibylone Temps pleinSIBYLONE, société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des données,...
-
Data Engineer senior Spark
il y a 4 semaines
Paris, France Sibylone Temps pleinSIBYLONE , société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité. Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des...
-
Data Engineer senior Spark
il y a 4 semaines
Paris, France Sibylone Temps pleinSIBYLONE, société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des données,...
-
Data Engineer senior Spark
il y a 2 semaines
Paris, Ile-de-France Sibylone Temps pleinSIBYLONE, société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des données,...
-
Data Engineer Spark
il y a 1 mois
Paris, France UCASE CONSULTING Temps pleinBonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. **Mission**: **Livrables n 1**: Sprint n 1 **+ Lot 1**: développement des US et tests associés ; **+ Lot 2**: Documentation projet, mapping des données, modélisation des pipelines, documents d?exploitation ; **+ Lot 3**: Mise en place du CI/CD sur notre usine...
-
DATA ENGINEER SPARK
il y a 2 semaines
Paris, France UCASE CONSULTING Temps pleinBonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d?exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4...
-
DATA ENGINEER SPARK
il y a 1 mois
Paris, France UCASE CONSULTING Temps pleinBonjour,Pour le compte de notre client, nous recherchons un data engineer spark / scala.Mission : Livrables n 1 : Sprint n 1+ Lot 1 : développement des US et tests associés ;+ Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d?exploitation ;+ Lot 3 : Mise en place du CI/CD sur notre usine logicielle ;+ Lot 4 : Mise...
-
Data Engineer
il y a 1 mois
Paris, France Data Recrutement Temps pleinOffre publiée le 20-03-2023.- Paris - Fonction Data engineer hadoop spark - Taille entreprise de 51 à 200 - Télétravail partiel - Technologies Data studio - Technologies Gcp - Technologies Python - Technologies Sql - Expérience 3 à 5 ans - Expérience 6 à 10 ans - Statut CDI - Min 60k€ - Max 80k€ - Why: - **Croissance à deux chiffres**: -...
-
Data Engineer Spark Senior
il y a 1 mois
Paris, Île-de-France KLETA Temps pleinAnalyse des Exigences : Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement. Conception de Solutions : Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark. Proposer des modèles de données adaptés aux cas d'utilisation spécifiques....
-
Data Engineer Senior H/F
il y a 1 mois
Paris, France Crédit Agricole Assurances Temps pleinDescription du poste Crédit Agricole Assurances se prépare pour demain. Dans un contexte de transformation digitale marqué par les nouvelles technologies (Chatbot, Datascience) et les nouvelles méthodes de travail (comme l'agilité), nous souhaitons renforcer nos équipes au sein du pôle IT. Nous cherchons des profils curieux, ouverts à...
-
Data Engineer Senior H/F
il y a 1 mois
Paris, Île-de-France Credit Agricole Assurances Temps pleinCrédit Agricole Assurances se prépare pour demain. Dans un contexte de transformation digitale marqué par les nouvelles technologies (Chatbot, Datascience) et les nouvelles méthodes de travail (comme l'agilité), nous souhaitons renforcer nos équipes au sein du pôle IT. Nous cherchons des profils curieux, ouverts à l'innovation, motivés par le...
-
Data Engineer Senior H/F
il y a 1 mois
Paris, France Credit Agricole Assurances Temps pleinCrédit Agricole Assurances se prépare pour demain. Dans un contexte de transformation digitale marqué par les nouvelles technologies (Chatbot, Datascience) et les nouvelles méthodes de travail (comme l'agilité), nous souhaitons renforcer nos équipes au sein du pôle IT. Nous cherchons des profils curieux, ouverts à l'innovation, motivés par le...
-
Senior Data Engineer
il y a 1 mois
Paris, France Algolia Temps pleinWe’re on a mission to make Algolia a data-driven organisation, and we’re looking for a Senior Data Engineer to join our Data team and help us get there. Our Data team aims at helping other teams make better decisions by providing relevant data while ensuring its integrity and its consistency. This team has a significant impact as we work closely with...
-
Data Engineer confirmés à sénior.
il y a 2 semaines
Paris, France AI&DATA Temps pleinLa mission Sur ce poste, vous serez intégré(e) à une équipe de projet et participerez à la mise en place de projets Big Data en intervenant notamment sur les missions suivantes : Analyser les besoins clients et formaliser les cas d’usages correspondants, Participer activement à la conception et à la réalisation des solutions Big Data, ...
-
Data Engineer Senior
il y a 1 mois
Paris, France BI NEWVISION Temps pleinNous recherchons un Data Engineer Sénior H/F avec une forte expertise sur Azure, Databricks, Spark, Scala. Développement et l?implémentation de solutions Big Data Analytics Analyse du besoin, étude d?impacts et conception de la solution technique Conception et modélisation des données au niveau d?un Data Lake (format Parquet, Delta table,...