Data Engineer AWS

il y a 3 semaines


NeuillysurSeine, Île-de-France 4 Impact Temps plein

Nous recherchons pour l'un de nos clients un Data Engineer AWS.

Contexte de la mission :

Au sein de l'équipe chargée de développer des outils internes d'une entité, constituée de 10 personnes : Développeurs back/frond end et Ingénieurs Data, le Data Engineer AWS est en charge de mener à bien un besoin clé du Groupe autour du sujet Zéro Carbone.


Affecté à l'équipe métier, nous travaillons en mode Scrum en collaboration avec un autre Data Engineer et un PO pour réaliser les tâches et mener à bien le projet à terme.

Missions :

- Créer des fonctions AWS Lambda et pour consommer des APIs provenant de l'extérieur (données Gas/Power) et alimenter nos buckets S3 dédiés.
- Développer des jobs AWS Batch pour alimenter nos buckets S3 avec des données pré-calculées de l'intensité Carbon du Groupe et de ses clients.
- Mettre en place des dashboards sur Quicksight pour visualiser les résultats.
- Développer une API Flask et exposer les calculs via Swagger.
- Exploration des données via AWS Athena.
- Mise en place de Jupyter Notebooks pour exposer et valider nos premiers résultats de calculs aux métiers.
- Scheduler des jobs via CloudWatch et StepFunctions.
- Archiver l'ensemble du code dans Git et mettre en place un déploiement automatique via Azure Devops
- Mise en place de WebApps sur Azure pour héberger nos API Flask.
- Collaborer avec nos clients pour présenter nos calculs et les accompagner.


Environnement technique : Spark, Python, Jupyter/ Pytest, Flask, Swagger, AWS Lambda/ Athena/ CloudWatch/ QuickSight/ Batch / S3/ Partionning/ Bucketing, Azure Devops/ Functions/ AppService/ Web Apps.


  • Expert Data Kafka

    il y a 1 mois


    Neuilly-sur-Seine, Île-de-France TRSB Temps plein

    Fiche de posteExpert Data/Kafka, +5 ans d'expérienceMission :Le profil recherché intégrera une équipe transverse qui gère, entre autres systèmes et applications, uneplateforme d'échange de données basée sur Apache Kafka.le consultant participera aux différentes activités de l'équipe :· L'expertise Data et Kafka à destination des équipes de...


  • Ivry-sur-Seine, Île-de-France MICHAEL PAGE Temps plein

    Quelles sont les missions ?En tant que Data Engineer/Architecte, vos missions seront les suivantes : * Être responsable de la conception et de la gestion de l'architecture des données sur la plateforme GCP, * Vous définissez l'architecture, les normes et bonnes pratiques, * Vous prenez en compte les besoins fonctionnels afin d'établir le design, * Vous...

  • Data Engineer Senior

    il y a 2 semaines


    Hauts-de-Seine, Ile-de-France AXA en France Temps plein

    EnvironnementEn tant que Senior Data Engineer F/H, vous allez contribuer directement aux projets des directions métier (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, …) d’AXA France et à la construction du socle technique Big Data.Vous allez intégrer une équipe d'une dizaine de personne...

  • Date engineer

    il y a 1 mois


    Neuilly-sur-Seine, Île-de-France HN SERVICES Temps plein

    Nous recherchons pour notre client un développeur spécialisé dans les données ayant une expérience préalable dans le développement de produits de restitution automatisée de données. Ce rôle s'inscrit dans le cadre du développement d'une solution technique conçue en collaboration avec le Tech Lead, qui supervise l'architecture logicielle...

  • Un Data Engineer

    il y a 4 semaines


    Champigny-sur-Marne, Île-de-France Smarteo Temps plein

    Smarteo recherche pour l'un de ses clients, Un Data Engineer ( Plateforme et environnement GCP) sur le 94 / 2 jours de télétravail Description de la mission: Récupérer les données issues de sources externes Utiliser la puissance du Datalake Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. ...

  • Tech Lead Data Engineer

    il y a 2 semaines


    Hauts-de-Seine, Ile-de-France AXA en France Temps plein

    EnvironnementEn tant que Tech Lead Data Engineer F/H, vous allez contribuer directement aux projets des directions métier (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, …) d’AXA France et à la construction du socle technique Big Data.Vous allez intégrer une équipe d'une dizaine de personne...

  • Architecte Cloud PARIS H/F

    il y a 4 semaines


    Neuilly-sur-Seine, Île-de-France CAP GEMINI Temps plein

    Choisir Capgemini, c'est choisir une entreprise où vous serez en mesure de façonner votre carrière selon vos aspirations. Avec le soutien et l'inspiration d'une communauté d'experts dans le monde entier, vous pourrez réécrire votre futur. Rejoignez-nous pour redéfinir les limites de ce qui est possible, contribuer à libérer la valeur de la...


  • Boulogne-sur-Mer, Hauts-de-France Ifremer - French Research Institute for Exploitation of the Sea Temps plein

    Deadline for applications: 06/05/2024The Channel & North Sea Fisheries Research Unit (Unité Halieutique Manche Mer du Nord, HMMN) is investigating the dynamics of marine fisheries, ecosystems and biodiversity, subject to the pressure of fisheries and other human activities in a global change context, as well as evaluating management strategies to mitigate...

  • Data Engineer AWS

    il y a 3 semaines


    Hauts-de-Seine, France 4 Impact Travail à distance Freelance Temps plein

    Nous recherchons pour l’un de nos clients un Data Engineer AWS.Contexte de la mission :Au sein de l'équipe chargée de développer des outils internes d’une entité, constituée de 10 personnes : Développeurs back/frond end et Ingénieurs Data, le Data Engineer AWS est en charge de mener à bien un besoin clé du Groupe autour du sujet Zéro...

  • Data Engineer

    il y a 1 mois


    Neuilly-sur-Seine, France PERITIS Temps plein

    Descriptif du poste LA MISSION Afin de renforcer notre pôle Ingestion, nous sommes à la recherche d'un Data Engineer: - Participer à la définition des besoins et des livrables - Effectuer l'analyse fonctionnelle, élaborer ou valider les solutions techniques, concevoir les modèles de données, élaborer des jeux de test - Implémenter les modèles de...

  • Consultant Data Engineer

    il y a 2 semaines


    Neuilly-sur-Seine, France WHIZE Temps plein

    Offre d’emploi pour un CDI : Consultant Data EngineerWHIZE est spécialisée dans le développement de solutions sur mesure en architecture Serverless (Azure, Amazon WS, Google CP) et de solutions basées sur l'écosystème Microsoft 365 (SharePoint, Teams, Power Platform).Vos missions :Concevoir des solutions de traitement de volume très important de...

  • Consultant Data Engineer

    il y a 2 semaines


    Neuilly-sur-Seine, Nanterre, France WHIZE Temps plein

    Offre d’emploi pour un CDI : Consultant Data EngineerWHIZE est spécialisée dans le développement de solutions sur mesure en architecture Serverless (Azure, Amazon WS, Google CP) et de solutions basées sur l'écosystème Microsoft 365 (SharePoint, Teams, Power Platform).Vos missions :Concevoir des solutions de traitement de volume très important de...

  • Consultant Data Engineer

    il y a 1 mois


    Neuilly-sur-Seine, France WHIZE Temps plein

    Offre d’emploi pour un CDI : Consultant Data EngineerWHIZE est spécialisée dans le développement de solutions sur mesure en architecture Serverless (Azure, Amazon WS, Google CP) et de solutions basées sur l'écosystème Microsoft 365 (SharePoint, Teams, Power Platform).Vos missions :Concevoir des solutions de traitement de volume très important de...

  • Consultant data engineer h/f

    il y a 4 semaines


    Neuilly-sur-Seine, Hauts-de-Seine, France WHIZE Temps plein

    Offre d’emploi pour un CDI : Consultant Data Engineer WHIZE est spécialisée dans le développement de solutions sur mesure en architecture Serverless (Azure, Amazon WS, Google CP) et de solutions basées sur l'écosystème Microsoft 365 (SharePoint, Teams, Power Platform). Concevoir des solutions de traitement de volume très important de données....

  • Consultant Data Engineer

    il y a 4 semaines


    Neuilly-sur-Seine, Hauts-de-Seine, France WHIZE Temps plein

    Offre d’emploi pour un CDI : Consultant Data Engineer WHIZE est spécialisée dans le développement de solutions sur mesure en architecture Serverless (Azure, Amazon WS, Google CP) et de solutions basées sur l'écosystème Microsoft 365 (SharePoint, Teams, Power Platform). Vos missions : Concevoir des solutions de traitement de volume très...


  • Neuilly-sur-Seine, France JCDecaux FR Temps plein

    Mission:Au sein de la nouvelle Direction Data, chargée de l'exploitation et de la valorisation des données à travers le groupe, nous recherchons un Data Scientist Intern (H/F) pour intégrer une équipe dynamique en forte croissance composée de Data Scientists, Data Engineers, Product Owners, DevOps et Full Stacks. Au quotidien vous serez amené à: -...


  • Neuilly-sur-Seine, France JCDecaux Temps plein

    Au sein de la nouvelle Direction Data, chargée de l'exploitation et de la valorisation des données à travers le groupe, nous recherchons un Data Scientist Intern (H/F) pour intégrer une équipe dynamique en forte croissance composée de Data Scientists, Data Engineers, Product Owners, DevOps et Full Stacks. **Au quotidien vous serez amené à**: -...

  • Data Engineer Stagiaire

    il y a 1 mois


    Neuilly-sur-Seine, France APGAR Temps plein

    APGAR , fondée en 2013, est une société de conseil en Data de premier plan, reconnue par les analystes comme Gartner, qui accompagne ses clients dans leur parcours pour construire une base de données fiables.De la sensibilisation des personnes aux changements organisationnels en passant par l'activation et le support technologiques, nous concevons et...

  • Data Engineer Cloud F/H

    il y a 1 mois


    Montereau-sur-le-Jard, France Safran Aircraft Engines Temps plein

    Job Description La Digital Factory de Safran Aircraft Engines développe et industrialise de manière continue des applications, des produits data et des services digitaux pour ses différents métiers. Dans le cadre du déploiement de nouvelles plateformes data on-premise et cloud, la Digital Factory se renforce et recrute des data engineers. En tant...


  • Neuilly-sur-Seine, France JCDecaux Temps plein

    Rejoignez nos équipes, nous vous attendons ! Mission Au sein de la Direction DataCorp., chargée de l'exploitationet de la valorisation des données à travers le groupe, nous recherchons un DataScientist (H/F) pour intégrer une équipe dynamique en forte croissancecomposée de Data Scientists, Data Engineers, Product Owners, DevOps et...


  • Saint-Ouen, Seine-Saint-Denis, France Inetum Temps plein

    Informations générales Entité de rattachement Nous sommes une ESN agile, un groupe international certifié Top Employer Europe 2023. A l'ère de la post-transformation digitale, nous mettons tout en œuvre pour que chacun de nos 27 000 athlètes du digital puisse se renouveler perpétuellement, en vivant positivement son propre flow digital. ...

  • Product Owner Data H/F

    il y a 1 mois


    Neuilly-sur-Seine, France Bounot Consulting Temps plein

    Présentation de la sociétéEntreprise dans le domaine de la publicitéDescriptionAu sein de la Direction DataCorp de l'entreprise chargée de la stratégie Data à travers le groupe, et accompagnement des filiales dans leur transformation data, nous recherchons un(e) Product Owner Data pour intégrer une équipe dynamique en forte croissance composée de...

  • Data Engineer

    il y a 1 mois


    Neuilly-sur-Seine, France APGAR Temps plein

    Apgar Consulting, fondée en 2013, est une société de conseil en Data de premier plan, reconnue par les analystes comme Gartner, qui accompagne ses clients dans leur parcours pour construire une base de données fiables.De la sensibilisation des personnes aux changements organisationnels en passant par l'activation et le support technologiques, nous...

  • Data Engineer Luxe

    il y a 4 semaines


    Neuilly-sur-Seine, France CENOVA Temps plein

    **LA SOCIETE : CENOVA** **QUI SOMMES NOUS ET POURQUOI NOUS REJOINDRE ?** - **Entrez dans notre univers « être sérieux sans se prendre au sérieux » !**_ Cabinet à forte croissance, Cenova accompagne ses clients du **#*_**Luxe**_, du _**#Retail**_ _et du _**#Tourisme/Loisirs**_ _dans _leurs projets de **transformation digitale et data, et ce *sur...

  • Consultant aws h/f

    il y a 4 semaines


    Neuilly-sur-Seine, Hauts-de-Seine, France WHIZE Temps plein

    Offre pour un CDI : Consultant DataBricks / Python Whize est une filiale du groupe Neurones (7000 collaborateurs en France), spécialisée dans le domaine de la Data Intelligence et du développement de solutions sur mesure en architecture Serverless (Azure, AWS). Modern BI : expertise dans toute la chaine décisionnelle pour la création de tableaux de...

  • DevOps Engineer Senior

    il y a 1 mois


    Neuilly-sur-Seine, France APGAR Temps plein

    Apgar, fondée en 2013, est une société de conseil en Data de premier plan, reconnue par les analystes comme Gartner, qui accompagne ses clients dans leur parcours pour construire une base de données fiables.De la sensibilisation des personnes aux changements organisationnels en passant par l'activation et le support technologiques, nous concevons et...

  • Data Engineer Senior

    il y a 1 mois


    Neuilly-sur-Seine, France APGAR Temps plein

    Apgar Consulting, fondée en 2013, est une société de conseil en Data de premier plan, reconnue par les analystes comme Gartner, qui accompagne ses clients dans leur parcours pour construire une base de données fiables.De la sensibilisation des personnes aux changements organisationnels en passant par l'activation et le support technologiques, nous...

  • Technical Data Engineer

    il y a 1 mois


    Neuilly-sur-Seine, France APGAR Temps plein

    Apgar Consulting, fondée en 2013, est une société de conseil en Data de premier plan, reconnue par les analystes comme Gartner, qui accompagne ses clients dans leur parcours pour construire une base de données fiables.De la sensibilisation des personnes aux changements organisationnels en passant par l'activation et le support technologiques, nous...