Data Engineer Finlake

il y a 6 jours


CharentonlePont, France VISIAN Temps plein

Contexte / Objectifs:
La mission va se dérouler au sein de l'IT Financement dans l'équipe Business intelligence qui aujourd'hui développe et gère un datalake (FinLake).

Ce datalake est utilisé comme une data plateforme pour les équipes IT et métiers.

L'objectif de la mission est d'assurer le rôle de Data Engineer du Finlake:

- Gestion de la production
- Gestion de la dette technique
- Revoir l'architecture actuelle et proposer des évolutions
- Développements liés aux projets

Description:
? Mettre en place la collecte et la mise à disposition des données au sein de l?entreprise

? Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent

Activités et tâches:
? Acheminement de la donnée

? Mise à disposition de la donnée aux équipes utilisatrices

? Mise en production de modèles statistiques

? Suivi de projet de développement

? Développement job spark

? Traitement et ingestion de plusieurs formats des données

? Développement des scripts

? Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données

? Développement des moyens de restitution via génération de fichier et ou API & Dashboarding

? Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers

? Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI)

? Développer des API génériques d?ingestion et de traitement de données dans un environnement HDP

? Participer à la conception, mise en place et administration de solutions Big Data

? Participation à l?installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka

? Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Expertises spécifiques:

- Spark
- PySpark
- Scala
- Hadoop sur infra on premise
- Hive
- Starburst
- Jenkins
- Unix/Bash
- Jira
- Pipeline CI/CD

Idéalement XLDeploy/XLRelease


  • Data Engineer

    il y a 1 semaine


    Charenton-le-Pont, France DCS GROUP Temps plein

    En tant que Data Engineer (H/F), vous évoluerez dans un environnement global. **Notre client propose 2 projets**: **Le premier**: garantir la qualité de la donnée \- Collaborer avec les utilisateurs pour comprendre les besoins en matière de données et proposer des solutions de gestion des données appropriées. \- Surveiller et maintenir la qualité...

  • Dev/data Engineer

    il y a 2 semaines


    Charenton-le-Pont, France Mindquest Temps plein

    Contexte La mission se déroulera au sein de l'équipe IT Data Management & BI, dans la Squad Big Data & API, qui développe et gère actuellement le périmètre data relatif à l'écosystème Environnemental, Gouvernemental et Sociétal. Ce data lake est utilisé comme une plateforme de données pour les équipes IT et métiers. Mission L'objectif de la...

  • Data Analyst

    il y a 6 jours


    Charenton-le-Pont, France Kaino Temps plein

    **Client final - FinTech**: - **Paris**: - **CDI** Vous rejoignez une Startup Fintech au sein d'une équipe métier mais également intégré à une communauté Data composée de Data Engineers, Data Scientists et Data Analyst... **Missions**: Vous prenez un poste de Data Analyst et accompagnez une équipe métier en participant notamment à: - Suivre...

  • Data Analyst Réglementaire

    il y a 1 semaine


    Charenton-le-Pont, France Libellio Temps plein

    Le Pôle Réglementaire est chargé de mener les projets transversaux émanant d’un besoin réglementaire et cherche une prestation de Data Analyse. Le contexte: Cette prestation jouera un rôle dans la structuration du pôle réglementaire. Elle contribuera notamment à la sécurisation et l'automatisation des exports règlementaires existants mais...

  • SQL Swift Sepa

    il y a 9 heures


    Charenton-le-Pont, France Innov and Co Temps plein

    notre client a lancé un projet de construction de son nouveau socle Data. Un chantier de collecte et de réécriture des alimentations et des transformations de données est réalisé au sein de l?équipe. Il s'accompagne d'une nouvelle politique et d'une nouvelle organisation de gestion de la donnée pour en assurer l'intégrité, la sécurité et la...

  • Data Engineer Finance

    il y a 2 semaines


    Charenton-le-Pont, France VISIAN Temps plein

    Récupérer les données issues de sources externes ? Utiliser la puissance du Datalake ? Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. **Mise en ?uvre de la chaîne**: - d?ingestion de données, - de validation de données, - de croisement de données, - de déversement dans le datalake des données...

  • Senior Data Engineer

    il y a 2 semaines


    Le Mans, Pays de la Loire, France Groupe SII Temps plein

    Le Groupe SII vous attend Envie d'un nouveau challenge ? Nous recherchons pour le Groupe SII Ouestnotre futur(e) expert(e) Data cloud.Missions PrincipalesTu interviendras sur des projets Big Data stratégique pour nos clients afin de :Transformerla donnée brute en informations structurées et exploitables dans un DataLake ;Consolideret fiabiliser les flux...

  • Data Engineer Scala/Spark.

    il y a 2 semaines


    Le Blanc-Mesnil, Île-de-France Free-Work Temps plein

    Client :Entreprise de transportPoste :Architecte technique Senior DSMExpérience :Plus de 8 ansTJM d'achat max : 515€Localisation :Banlieue parisienneDeadline réponse :09/12Démarrage :01/01/2025Durée :Mission très longueDescription De La MissionObjectifsLa prestation, objet du présent cahier des charges, est une prestation à temps plein de Data...

  • Data Engineer

    il y a 6 jours


    Le Plessis-Robinson, France Renault Group Temps plein

    Société RENAULT s.a.s. Descriptif du poste Votre environnement Le métier Procurement de Renault est en pleine transformation et nécessite des outils performants pour gérer son réseau de fournisseurs, simuler des scénarios et anticiper les risques associés (logistiques, qualité, managériaux, sociaux-économiques, écologiques). En s’appuyant...

  • Data Engineer Spark/scala

    il y a 2 semaines


    Montigny-le-Bretonneux, France MANAGEMENT SQUARE Temps plein

    Descriptif du poste - Nous sommes à la recherche d'un(e): Data Engineer Spark/Scala Les activités qui vous seront confiées sont: - Travailler sur l'architecture et le développement de solutions Big Data. - Mener des revues de code et contribuer à une amélioration continue. - Assurer l'industrialisation du développement et des tests, en utilisant des...