Data Engineer Spark Senior
il y a 1 mois
- Analyse des Exigences :
- Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement.
- Conception de Solutions :
- Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark.
- Proposer des modèles de données adaptés aux cas d'utilisation spécifiques.
- Développement de Pipelines de Données :
- Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données.
- Utiliser Spark Streaming pour le traitement en temps réel des flux de données.
- Optimisation des Performances :
- Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations.
- Gestion des Versions :
- Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark.
- Tests et Validation :
- Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression.
- Valider la qualité des données à différentes étapes du pipeline.
- Déploiement et Monitoring :
- Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel.
- Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité.
- Sécurité :
- Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline.
- Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données.
- Documentation :
- Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques.
- Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.
-
Senior Data Engineer
il y a 2 semaines
Paris, Ile-de-France Pulsover Temps pleinÀ propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et...
-
Data Engineer senior Spark
il y a 2 semaines
Paris, Ile-de-France Sibylone Temps pleinSIBYLONE, société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des données,...
-
Data Engineer Senior H/F
il y a 1 mois
Paris, Île-de-France Credit Agricole Assurances Temps pleinCrédit Agricole Assurances se prépare pour demain. Dans un contexte de transformation digitale marqué par les nouvelles technologies (Chatbot, Datascience) et les nouvelles méthodes de travail (comme l'agilité), nous souhaitons renforcer nos équipes au sein du pôle IT. Nous cherchons des profils curieux, ouverts à l'innovation, motivés par le...
-
Data Engineer Talend
il y a 2 semaines
Paris, Ile-de-France Sibylone Temps pleinSIBYLONE, société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des données,...
-
Data engineer
il y a 1 mois
Paris, Île-de-France BlueSoftGroup Temps pleinNous sommes à la recherche d'un(e) Data Engineer passionné(e) à Paris. En tant que Data Engineer, vous jouerez un rôle crucial dans l'architecture, le développement et la mise en œuvre de solutions techniques pour répondre aux besoins en données de notre entreprise. Vous travaillerez en étroite collaboration avec notre équipe technique, les chefs...
-
Ingénieur Data Spark
il y a 2 semaines
Paris, Île-de-France HN SERVICES Temps pleinLa Direction des Systèmes d'Information a pour missions de mettre au quotidien à disposition des utilisateurs les données et les traitements nécessaires à leur activité, dans le respect des contrats de service; de garantir la sécurité et la pérennité des actifs informatiques du Groupe; d'accompagner le développement commercial du Groupe en France...
-
Data Engineer Senior
il y a 2 semaines
Paris, Ile-de-France SoyHuCe|a JAKALA company Temps pleinSoyHuCe est le Center of Excellence en data/IA de JAKALA.Les équipes SoyHuCe combinent les expertises nécessaires à la création de solution data clé-en-main : collecte, traitement, analyse, algorithmie, exploitation, intégration et UX/UI.SoyHuCe répond ainsi à des cas d’usage variés, dans de multiples secteurs : retail, énergie, loisirs,...
-
Ingénieur Data SPARK/SCALA
il y a 2 semaines
Paris, Île-de-France DHM IT Temps pleinAu sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : Conception détaillée, fonctionnelle et technique. Développements SPARK / SCALA Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. Résolution des anomalies...
-
ingenieur data spark scala f/h
il y a 2 semaines
Paris, Île-de-France GENIOUS Temps pleinGenious Systèmes recherche pour un de ses clients un Ingénieur Data Spark Scala F/HContexte Mission:Sur une architecture Big Data permettant de collecter les données de l'ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata.Cette...
-
Senior Data Engineer AWS
il y a 3 semaines
Paris, Île-de-France Devoteam Temps pleinDescription de l'entrepriseLe data engineering est essentiel pour l'analyse de données. En construisant et en optimisant les pipelines de données, les data engineers permettent aux entreprises d'exploiter pleinement leur potentiel analytique. Leur rôle crucial dans la collecte, le stockage et le traitement des données garantit une base solide pour les...
-
Senior Data Science
il y a 4 jours
Paris, Île-de-France NES Fircroft Temps pleinSenior Data Science & Machine Learning Engineer – 12 Months Contract – Central Paris, France Hybrid 3 days on site 2 days remote Start asap Fluent in French and English Required:- 5 years in Data Science and at least 2 years in MLOps (Azure, AWS). ML/AI algorithm ++++ Senior, Python ++++ Senior, MLOps +++ Medior, Databricks +++ Médior, AWS/Azure +++...
-
Senior Data Engineer
il y a 2 semaines
Paris, Ile-de-France Continuity Temps pleinLa colonne vertébrale de notre solution est un pipeline de data et de ML qui permet d'enrichir chaque dossier analysé avec des données externes, de qualifier le risque (activité, adresse, bâtiment, situation financière, historique de sinistre) pour répondre à deux questions simples : le dossier peut-il être accepté ou refusé ? le contrat...
-
Data Engineer
il y a 4 semaines
Paris, Île-de-France Adevinta Temps pleinAu sein d'une équipe composée de Data Engineers, sous la responsabilité d'un Engineering Manager et en collaboration directe avec les chefs de projets CRM, vous participerez à l'intégralité du processus de développement des features CRM en intervenant sur la partie Data Engineer.En tant que Data Engineer, vous contribuerez en particulier à...
-
Data Engineer Senior
il y a 2 semaines
Paris, Ile-de-France Econocom Temps pleinL’entité Apps, Cloud & Data du groupe Econocom accompagne les entreprises dans leurs projets de transformation et de modernisation de leurs applications en apportant son expertise et savoir-faire dans les nouvelles technologies, le cloud et la data.Nous associons, dans une même chaîne de valeur le : conseil en stratégie, design de plateformes cloud...
-
Senior Data Engineer
il y a 2 semaines
Paris, Ile-de-France QUANT AI Lab Temps pleinChez QUANT AI LAB, nous travaillons avec nos clients pour les aider à résoudre leurs problèmes, de la définition de la stratégie à la mise en œuvre de solutions robustes et durables. Nous nous appuyons sur notre approche opérationnelle qui lie conseil et outils.Nous avons le projet d'accompagner nos clients sur le long terme avec nos convictions,...
-
Data Engineer
il y a 4 semaines
Paris, Île-de-France Adevinta Temps pleinWithin a team made up of Data Engineers, under the responsibility of an Engineering Manager and in direct collaboration with the CRM project managers, you will participate in the entire process of developing CRM features by intervening on the Data Engineer part.As a Data Engineer, you will contribute to:Develops and builds data products and data services and...
-
Tech Lead Big Data – Expert Java Spark
il y a 3 semaines
Paris, Île-de-France Cogigroup Temps pleinJe recherche un Tech Lead Big Data – Expert Java - Spark :• Devenir le Pilier technique du socle Big Data en Java Spark pour aider les utilisateurs de différentes 6 squads à l'utiliser, répondre aux tickets, analyser les bugs et savoir coder les corrections et livrer (CI/CD Jenkins Maven)• Rôle orienté RUN mais quelques évolutions peuvent...
-
Tech Lead Spark Scala
il y a 2 semaines
Paris, Ile-de-France Sibylone Temps pleinSIBYLONE, société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des données,...
-
Data Engineer
il y a 2 semaines
Paris, Ile-de-France ALFI : Financial Markets Consultancy Services Temps pleinLe Data Engineer intervient au sein de l’équipe Engineering Open Big Data du Département Guilde Data, qui regroupe l’ensemble des expertises technologiques liées à l’ingénierie de la donnée, de l’automatisation et à l’exploitation des modèles de Machine Learning.Votre rôle et vos missions :Vous aurez pour missions principales de...
-
Data engineer
il y a 2 jours
Paris, Île-de-France NEXORIS Temps pleinNotre client bancaire recherche un Data engineer - GCP BigQuery Spark Scala (H/F) pour renforcer l'équipe au sein de laquelle preste déjà un consultant de NEXORIS.Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données.Tâches et activités de la...