Data Engineer Finlake
il y a 6 jours
Contexte / Objectifs:
La mission va se dérouler au sein de l'IT Financement dans l'équipe Business intelligence qui aujourd'hui développe et gère un datalake (FinLake).
Ce datalake est utilisé comme une data plateforme pour les équipes IT et métiers.
L'objectif de la mission est d'assurer le rôle de Data Engineer du Finlake:
- Gestion de la production
- Gestion de la dette technique
- Revoir l'architecture actuelle et proposer des évolutions
- Développements liés aux projets
Description:
? Mettre en place la collecte et la mise à disposition des données au sein de l?entreprise
? Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent
Activités et tâches:
? Acheminement de la donnée
? Mise à disposition de la donnée aux équipes utilisatrices
? Mise en production de modèles statistiques
? Suivi de projet de développement
? Développement job spark
? Traitement et ingestion de plusieurs formats des données
? Développement des scripts
? Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données
? Développement des moyens de restitution via génération de fichier et ou API & Dashboarding
? Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers
? Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI)
? Développer des API génériques d?ingestion et de traitement de données dans un environnement HDP
? Participer à la conception, mise en place et administration de solutions Big Data
? Participation à l?installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka
? Normalisation et agrégation des données afin de produire les rapports sous forme de Business View
Expertises spécifiques:
- Spark
- PySpark
- Scala
- Hadoop sur infra on premise
- Hive
- Starburst
- Jenkins
- Unix/Bash
- Jira
- Pipeline CI/CD
Idéalement XLDeploy/XLRelease
-
Data Engineer
il y a 1 semaine
Charenton-le-Pont, France DCS GROUP Temps pleinEn tant que Data Engineer (H/F), vous évoluerez dans un environnement global. **Notre client propose 2 projets**: **Le premier**: garantir la qualité de la donnée \- Collaborer avec les utilisateurs pour comprendre les besoins en matière de données et proposer des solutions de gestion des données appropriées. \- Surveiller et maintenir la qualité...
-
Dev/data Engineer
il y a 2 semaines
Charenton-le-Pont, France Mindquest Temps pleinContexte La mission se déroulera au sein de l'équipe IT Data Management & BI, dans la Squad Big Data & API, qui développe et gère actuellement le périmètre data relatif à l'écosystème Environnemental, Gouvernemental et Sociétal. Ce data lake est utilisé comme une plateforme de données pour les équipes IT et métiers. Mission L'objectif de la...
-
Data Analyst
il y a 6 jours
Charenton-le-Pont, France Kaino Temps plein**Client final - FinTech**: - **Paris**: - **CDI** Vous rejoignez une Startup Fintech au sein d'une équipe métier mais également intégré à une communauté Data composée de Data Engineers, Data Scientists et Data Analyst... **Missions**: Vous prenez un poste de Data Analyst et accompagnez une équipe métier en participant notamment à: - Suivre...
-
Data Analyst Réglementaire
il y a 1 semaine
Charenton-le-Pont, France Libellio Temps pleinLe Pôle Réglementaire est chargé de mener les projets transversaux émanant d’un besoin réglementaire et cherche une prestation de Data Analyse. Le contexte: Cette prestation jouera un rôle dans la structuration du pôle réglementaire. Elle contribuera notamment à la sécurisation et l'automatisation des exports règlementaires existants mais...
-
SQL Swift Sepa
il y a 9 heures
Charenton-le-Pont, France Innov and Co Temps pleinnotre client a lancé un projet de construction de son nouveau socle Data. Un chantier de collecte et de réécriture des alimentations et des transformations de données est réalisé au sein de l?équipe. Il s'accompagne d'une nouvelle politique et d'une nouvelle organisation de gestion de la donnée pour en assurer l'intégrité, la sécurité et la...
-
Data Engineer Finance
il y a 2 semaines
Charenton-le-Pont, France VISIAN Temps pleinRécupérer les données issues de sources externes ? Utiliser la puissance du Datalake ? Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. **Mise en ?uvre de la chaîne**: - d?ingestion de données, - de validation de données, - de croisement de données, - de déversement dans le datalake des données...
-
Senior Data Engineer
il y a 2 semaines
Le Mans, Pays de la Loire, France Groupe SII Temps pleinLe Groupe SII vous attend Envie d'un nouveau challenge ? Nous recherchons pour le Groupe SII Ouestnotre futur(e) expert(e) Data cloud.Missions PrincipalesTu interviendras sur des projets Big Data stratégique pour nos clients afin de :Transformerla donnée brute en informations structurées et exploitables dans un DataLake ;Consolideret fiabiliser les flux...
-
Data Engineer Scala/Spark.
il y a 2 semaines
Le Blanc-Mesnil, Île-de-France Free-Work Temps pleinClient :Entreprise de transportPoste :Architecte technique Senior DSMExpérience :Plus de 8 ansTJM d'achat max : 515€Localisation :Banlieue parisienneDeadline réponse :09/12Démarrage :01/01/2025Durée :Mission très longueDescription De La MissionObjectifsLa prestation, objet du présent cahier des charges, est une prestation à temps plein de Data...
-
Data Engineer
il y a 6 jours
Le Plessis-Robinson, France Renault Group Temps pleinSociété RENAULT s.a.s. Descriptif du poste Votre environnement Le métier Procurement de Renault est en pleine transformation et nécessite des outils performants pour gérer son réseau de fournisseurs, simuler des scénarios et anticiper les risques associés (logistiques, qualité, managériaux, sociaux-économiques, écologiques). En s’appuyant...
-
Data Engineer Spark/scala
il y a 2 semaines
Montigny-le-Bretonneux, France MANAGEMENT SQUARE Temps pleinDescriptif du poste - Nous sommes à la recherche d'un(e): Data Engineer Spark/Scala Les activités qui vous seront confiées sont: - Travailler sur l'architecture et le développement de solutions Big Data. - Mener des revues de code et contribuer à une amélioration continue. - Assurer l'industrialisation du développement et des tests, en utilisant des...