Data Engineer Aws
il y a 2 semaines
Pour le compte de l'un de nos clients, nous sommes actuellement à la recherche d'un **Data Engineer AWS**
Contexte:
Développement et maintenance de pipelines ETL avec les outils AWS pour intégrer des données provenant de diverses sources.
Compétences métier:
- Rédaction de scripts AWS Glue pour:
- Acquisition des données brutes (Get raw data) & dépôt des données dans une base de stockage
de données brutes (e.g. Bucket S3, base RDS, etc.)
- Transformation des données brutes (Transform Raw data) & dépôt des données dans une base de stockage de données transformées (e.g. calculs, anonymisations des données, normalisation,
etc.) è un travail de modélisation est nécessaire pour le traitement des données
- Conversion de données au format attendu par le métier (e.g. renommage des données)
- Lancer AWS glue crawler et observer les tables créer dans « Glue Data Catalog »
- Rédaction des requêtes Athéna pour exploiter les tables
- Monitoring des métriques liés aux scripts sur Datadog
Compétences Techniques:
Langage : Python, Java
Testing : Pytest, Unittest, JUnit
Framework : Spark, Kafka
NoSQL : MongoDB
Amazon : Athena, Glue ETL, Crawler, Lambda, S3, Secret Manager
Versioning : Git
Outils : Jenkins, Gitlab
-
Data Engineer AWS
il y a 5 jours
Paris, Île-de-France Free-Work Temps pleinContexteDans le cadre du renforcement de ses plateformes data, un grand groupe industriel recherche un Data Engineer senior pour intervenir sur des sujets d'industrialisation, de fiabilisation et de montée en charge de ses pipelines data.Objectifs de la missionConcevoir, développer et maintenir des pipelines de données robustes et scalablesIndustrialiser...
-
Data Engineer AWS
il y a 23 heures
Paris, France Data Reply FR Temps pleinData Reply est une filiale du groupe Reply offrant une large gamme de services d'analyse avancée et de données alimentées par l'IA.Nous opérons dans différents secteurs et fonctions commerciales, en travaillant directement avec des professionnels de haut niveau et des directeurs généraux pour leur permettre d'obtenir des résultats significatifs...
-
Data Engineer AWS
il y a 1 semaine
Paris, Île-de-France CHOURAK CONSULTING Temps pleinNous recherchons un Data Engineer AWS / Snowflake confirmé pour intervenir au sein d?une équipe Data sur un environnement cloud moderne, fortement orienté industrialisation, performance et qualité des données.? Contexte de la mission : Vous serez en charge de maintenir, optimiser et faire évoluer les pipelines et architectures Data existants, dans un...
-
Aws Data Engineer
il y a 1 semaine
Paris, France SQUARE ONE Temps pleinPrendre part à la réalisation du workplan, réaliser les user stories définies dans le backlog. Participer, avec les autres membres de l?équipe à la gestion du RUN, aux activités de support et aux travaux de Build. Livraison des artefacts et suivi des mises en prod Automatiser et améliorer les activités de RUN (et SRE), suggérer des optimisations...
-
Data Engineer AWS
il y a 2 semaines
Paris, France Neo Soft Services Temps pleinGroupe indépendant de conseil en transformation digitale de près de 1800 collaborateurs, Néosoft s'est construit, depuis 2005, sur un modèle qui place l'excellence, le dépassement de soi et la RSE au cœur de sa stratégie. En nous rejoignant, vous intégrez des communautés d'experts et de talents qui vous permettent de développer vos compétences et...
-
Data Engineer AWS
il y a 2 semaines
Paris, Île-de-France Collective Temps pleinBudget: 500En quelques motsCherry Pick est à la recherche d'un "Data Engineer AWS" pour un client dans le secteur des MédiasDescription Le Contexte : Un Programme DATA AmbitieuxVous rejoignez la Direction DATA d'ungrand groupe média d'envergure internationale. Dans le cadre d'un vaste programme de transformation, le groupe déploie des outils et processus...
-
Data Engineer Aws
il y a 2 heures
Paris, France Hexateam Temps pleinDans le cadre de la croissance de HEXATEAM, nous sommes en quête permanente de nouveaux talents pour renforcer nos équipes. Nous cherchons actuellement deux profils Data Engineer AWS. Maîtrise des outils Databricks : Création et gestion de jobs, clusters et notebooks, ainsi que l'utilisation avancée de SQL pour effectuer des requêtes...
-
Data Engineer AWS
il y a 1 jour
Paris, France NEXTON Temps pleinData Engineer AWS (H/F) Location: Paris, France. Company Overview Rejoindre NEXTON, c’est intégrer une entreprise où convergent l’esprit d’un cabinet de conseil, la créativité d’une agence et la dynamique d’une ESN ! Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange et BNP...
-
Data Engineer AWS
il y a 2 semaines
Paris, Île-de-France Cherry Pick Temps pleinDans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l?analyse de leurs données et KPI.Les infrastructures et projets incluent :AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI,...
-
Data Engineer AWS
il y a 5 jours
Paris, Île-de-France Free-Work Temps pleinDans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l'analyse de leurs données et KPI.Les infrastructures et projets incluent :AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI,...