Data Engineer AWS

il y a 3 jours

Paris, Île-de-France Worldwide People Temps plein

Data Engineer AWS (S3, Glue, Athena, Python) 5 à 10 ans

Anglais obligatoire

Compétences recherchées :

Data Engineer AWS (S3, Glue, Athena, Python)

Tâches à traiter :

Understanding of scientific data in the pharma CMC space

Requirements clarification with stakeholders, effort estimation for PI planning

Good knowledge of Lean & Agile practices

AWS data engineering: S3, Glue (Jobs/Workflows), Athena

ETL/ELT development: Python, Glue ETL, schema evolution, partitioning

Data modeling: harmonized domain models, star/snowflake schemas, metadata management

SQL optimization: Athena performance tuning, cost-aware query design, partition/pruning strategies

Testing and quality: unit/integration tests for pipelines, DQ frameworks

Documentation and KT: runbooks, architecture diagrams, KT planning and execution

Migration experience: parallel-run strategy, cutover planning, backfill, data reconciliation

Profil candidat:

AWS data engineering: S3, Glue (Jobs/Workflows), Athena

Développement ETL/ELT : Python, Glue ETL, évolution de schémas, partitionnement

Modélisation des données : modèles de domaine harmonisés, schémas en étoile/flocon de neige, gestion des métadonnées

Optimisation SQL : réglage des performances Athena, conception de requêtes optimisée pour les coûts, stratégies de partitionnement/élagage

Tests et qualité : tests unitaires et d?intégration pour les pipelines, frameworks de qualité des données

Documentation et transfert de connaissances : manuels d?exploitation, diagrammes d?architecture, planification et exécution du transfert de connaissances

Expérience de migration : stratégie d?exécution parallèle, planification de la bascule, remplissage des données, réconciliation des données

  • Data Engineer AWS

    il y a 3 jours

    Paris, Île-de-France Data Reply FR Temps plein

    Data Replyest une filiale du groupe Reply offrant une large gamme de services d'analyse avancée et de données alimentées par l'IA.Nous opérons dans différents secteurs et fonctions commerciales, en travaillant directement avec des professionnels de haut niveau et des directeurs généraux pour leur permettre d'obtenir des résultats significatifs grâce...

  • Data Engineer AWS

    il y a 1 jour

    Paris, Île-de-France NEXTON Temps plein

    Description de l'entreprise Qui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...

  • Data Engineer AWS

    il y a 1 jour

    Paris, Île-de-France NEXTON Temps plein

    Description de l'entrepriseQui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...

  • Data Engineer Expérimenté

    il y a 1 jour

    Paris, Île-de-France MP DATA Temps plein

    Nous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...

  • Data Engineer AWS H/F

    il y a 5 jours

    Paris, Île-de-France NEXTON Temps plein

    Description de l'entreprise Qui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...

  • Data Engineer AWS H/F

    il y a 1 jour

    Paris, Île-de-France NEXTON Temps plein

    de l'entrepriseQui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies d'évolution et...

  • Data Engineer

    il y a 1 jour

    Paris, Île-de-France MP DATA Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...

  • Senior AWS Data Engineer

    il y a 5 jours

    Paris, Île-de-France Reply Temps plein

    MissionsImplémenter de nouveaux cas d'usage et de pipelines de données sur AWS.Cartographier les sources et flux de données dans des environnements cloud.Développer et industrialiser les traitements de données.Créer des tableaux de bord et outils de reporting selon les bonnes pratiques.Effectuer des tests unitaires et des tests...

  • Data Engineer AWS

    il y a 7 jours

    Paris, Île-de-France UCASE CONSULTING Temps plein

    Bonjour ??Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client Mission :Maintenir la plateforme en conditions opérationnelles :Garantir la disponibilité des données et des services de la plateforme,Assurer la communication avec les utilisateurs de la plateforme,Répondre aux demandes de...

  • Data Engineer AWS

    il y a 5 jours

    Paris, Île-de-France Free-Work Temps plein

    Bonjour Nous recherchons unDATA ENGINEERorienté sur les technologiesSPARK / SCALA / PYTHON/ AWSpour le compte de notre client Mission :Maintenir la plateforme en conditions opérationnelles :Garantir la disponibilité des données et des services de la plateforme,Assurer la communication avec les utilisateurs de la plateforme,Répondre aux demandes de...