Senior Data engineer AWS

il y a 6 jours

Paris, Île-de-France Kéoni Consulting Temps plein

CONTEXTE :

Experience : 7 ans et plus

Métiers Fonctions : Data Management, Software engineer

Spécialités technologiques : Data

Compétences

Technologies et Outils

AWS Spark Airflow Snowflake

Secteurs d'activités

Services Informatiques Conseil en organisation, stratégie

MISSIONS

Rattaché(e) au périmètre du Responsable Data Platform, vos missions consisteront à :

  • Développer des pipelines et ETL sur AWS vers Snowflake

  • Mettre en place des stockage optimisé grâce aux technologies lakehouse et en particulier DeltaLake

  • Créer des jobs manipulant la donnée avec SQL et Python (pandas et ou Polars)

  • Réaliser les traitements de volume de données massives avec PySpark

  • Développer et maintenir des infrastructures avec de l?IaC et en particulier avec Terraform

  • Orchestrer les différents traitements via Airflow

  • Déployer et maintenir des applications via la CI/CD

  • Participer aux réflexions et au design d?architecture

  • Bonne capacité de vulgarisation et de communication

  • Participer aux rituels agiles de l?équipe

  • Contribuer à la documentation technique et fonctionnelle

5 à 10 ans en tant que Data Engineer, avec une expérience significative sur AWS.

Un positionnement en tant que techlead serait un plus.

De l?expérience dans un contexte BI serait un plus.

Un positionnement ou une expérience en tant que DevOps serait un plus.

Expertise souhaitée

Python, PySpark, AWS (EMR, S3, Lambda), Airflow, SQL, Snowflake, Terraform, Databricks, Gitlab.

Profil candidat:

Rattaché(e) au périmètre du Responsable Data Platform, vos missions consisteront à :

  • Développer des pipelines et ETL sur AWS vers Snowflake

  • Mettre en place des stockage optimisé grâce aux technologies lakehouse et en particulier DeltaLake

  • Créer des jobs manipulant la donnée avec SQL et Python (pandas et ou Polars)

  • Réaliser les traitements de volume de données massives avec PySpark

  • Développer et maintenir des infrastructures avec de l?IaC et en particulier avec Terraform

  • Orchestrer les différents traitements via Airflow

  • Déployer et maintenir des applications via la CI/CD

  • Participer aux réflexions et au design d?architecture

  • Bonne capacité de vulgarisation et de communication

  • Participer aux rituels agiles de l?équipe

  • Contribuer à la documentation technique et fonctionnelle

5 à 10 ans en tant que Data Engineer, avec une expérience significative sur AWS.

Un positionnement en tant que techlead serait un plus.

De l?expérience dans un contexte BI serait un plus.

Un positionnement ou une expérience en tant que DevOps serait un plus.

Expertise souhaitée

Python, PySpark, AWS (EMR, S3, Lambda), Airflow, SQL, Snowflake, Terraform, Databricks, Gitlab.

  • Senior AWS Data Engineer

    il y a 7 jours

    Paris, Île-de-France Data Reply Temps plein

    Senior AWS Data EngineerTasksImplement new use cases and data pipelines on AWSMap data and data flows across cloud platformsDevelop and industrialize data pipelines and processing workflowsDesign and build dashboards and reporting toolsPerform unit and integration testing of data flowsParticipate in Data Reply events (Reply Xchange, hackathons, AWS summits,...

  • Senior AWS Data Engineer

    il y a 2 semaines

    Paris, Île-de-France Reply Temps plein

    Senior AWS Data EngineerMissionsImplémenter de nouveaux cas d'usage et de pipelines de données sur AWS.Cartographier les sources et flux de données dans des environnements cloud.Développer et industrialiser les traitements de données.Créer des tableaux de bord et outils de reporting selon les bonnes pratiques.Effectuer des tests unitaires et des tests...

  • Senior AWS Data Engineer

    il y a 7 jours

    Paris, Île-de-France Reply Temps plein

    Senior AWS Data EngineerMissionsImplémenter de nouveaux cas d'usage et de pipelines de données sur AWS.Cartographier les sources et flux de données dans des environnements cloud.Développer et industrialiser les traitements de données.Créer des tableaux de bord et outils de reporting selon les bonnes pratiques.Effectuer des tests unitaires et des tests...

  • Data Engineer avec des compétences sur Python/PySpark/Databricks sur un environnement cloud AWS

    il y a 6 jours

    Paris, Île-de-France Craftman data Temps plein

    Nous recherchons une prestation de Data Engineer avec des compétences sur Python/PySpark/Databricks sur un environnement cloud AWS.Le Data Engineer sera responsable de la conception, du développement et de la mise en production de l'architecture de données.Il devra notamment :Collecter les exigences des métiers et des utilisateursConcevoir l'architecture...

  • Data Engineer AWS

    il y a 7 jours

    Paris, Île-de-France Cherry Pick Temps plein

    En quelques motsCherry Pick est à la recherche d'un "Data Engineer AWS" pour un client dans le secteur des transportsDescription? Contexte de la missionAu sein du domaine Data & IA, le client recherche un MLOps Engineer / Data Engineer confirmé pour intervenir sur l?ensemble du cycle de vie des solutions d?intelligence artificielle.L?objectif :...

  • Data Engineer AWS

    il y a 2 semaines

    Paris, Île-de-France NEXTON Temps plein

    Description de l'entreprise Qui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...

  • Data Engineer AWS

    il y a 2 semaines

    Paris, Île-de-France NEXTON Temps plein

    Description de l'entreprise Qui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...

  • Data Engineer AWS

    il y a 2 semaines

    Paris, Île-de-France NEXTON Temps plein

    Description de l'entrepriseQui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...

  • Data Engineer AWS et GenAI

    il y a 1 semaine

    Paris, Île-de-France Collective Temps plein

    Merci de lire attentivement le descriptif pour être sûr que vous matcher à 85%Descriptif du posteLa mission proposée s'inscrit dans le cadre du programme Augmented Banker AI pour la Direction du Coverage et Sustainable de notre client bancaire. Plus particulièrement au sein du Domaine Client & ESG SI.Le programme Augmented Banker AI a pour objectifs...

  • Data Engineer AWS

    il y a 1 semaine

    Paris, Île-de-France CHOURAK CONSULTING Temps plein

    Nous recherchons un Data Engineer AWS / Snowflake confirmé pour intervenir au sein d?une équipe Data sur un environnement cloud moderne, fortement orienté industrialisation, performance et qualité des données.? Contexte de la mission : Vous serez en charge de maintenir, optimiser et faire évoluer les pipelines et architectures Data existants, dans un...