Data Engineer AWS

il y a 4 semaines


HautsdeSeine, France 4 Impact Travail à distance Freelance Temps plein

Nous recherchons pour l’un de nos clients un Data Engineer AWS.

Contexte de la mission :

Au sein de l'équipe chargée de développer des outils internes d’une entité, constituée de 10 personnes : Développeurs back/frond end et Ingénieurs Data, le Data Engineer AWS est en charge de mener à bien un besoin clé du Groupe autour du sujet Zéro Carbone.


Affecté à l'équipe métier, nous travaillons en mode Scrum en collaboration avec un autre Data Engineer et un PO pour réaliser les tâches et mener à bien le projet à terme.

Missions :

- Créer des fonctions AWS Lambda et pour consommer des APIs provenant de l'extérieur (données Gas/Power) et alimenter nos buckets S3 dédiés.
- Développer des jobs AWS Batch pour alimenter nos buckets S3 avec des données pré-calculées de l'intensité Carbon du Groupe et de ses clients.
- Mettre en place des dashboards sur Quicksight pour visualiser les résultats.
- Développer une API Flask et exposer les calculs via Swagger.
- Exploration des données via AWS Athena.
- Mise en place de Jupyter Notebooks pour exposer et valider nos premiers résultats de calculs aux métiers.
- Scheduler des jobs via CloudWatch et StepFunctions.
- Archiver l'ensemble du code dans Git et mettre en place un déploiement automatique via Azure Devops
- Mise en place de WebApps sur Azure pour héberger nos API Flask.
- Collaborer avec nos clients pour présenter nos calculs et les accompagner.


Environnement technique : Spark, Python, Jupyter/ Pytest, Flask, Swagger, AWS Lambda/ Athena/ CloudWatch/ QuickSight/ Batch / S3/ Partionning/ Bucketing, Azure Devops/ Functions/ AppService/ Web Apps.


  • Data Engineer AWS

    il y a 4 semaines


    Neuilly-sur-Seine, Île-de-France 4 Impact Temps plein

    Nous recherchons pour l'un de nos clients un Data Engineer AWS.Contexte de la mission :Au sein de l'équipe chargée de développer des outils internes d'une entité, constituée de 10 personnes : Développeurs back/frond end et Ingénieurs Data, le Data Engineer AWS est en charge de mener à bien un besoin clé du Groupe autour du sujet Zéro...

  • Data engineer AWS Sénior

    il y a 3 semaines


    Île-de-France Apside Temps plein

    Découvrez la Vie Apsidienne et vous aussi, devenez ApsidienOn aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut, mais on préfère que vous le découvriez vous-mêmes Découvrez votre future mission Contexte Rejoignez notre Practise Cloud/Data, afin d’intervenir sur des sujets à haute valeur ajoutée !...

  • Data engineer AWS Sénior

    il y a 3 semaines


    Île-de-France, France Apside Temps plein

    Découvrez la Vie Apsidienne et vous aussi, devenez ApsidienOn aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut, mais on préfère que vous le découvriez vous-mêmes Découvrez votre future mission Contexte Rejoignez notre Practise Cloud/Data, afin d’intervenir sur des sujets à haute valeur ajoutée !...

  • Data engineer AWS/Azure

    il y a 3 semaines


    Île-de-France Apside Temps plein

    Découvrez la Vie Apsidienne et vous aussi, devenez ApsidienOn aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut, mais on préfère que vous le découvriez vous-mêmes Découvrez votre future mission ContexteRejoignez notre Practise Cloud/Data, afin d’intervenir sur des sujets à haute valeur ajoutée !...

  • Data engineer AWS/Azure

    il y a 3 semaines


    Île-de-France, France Apside Temps plein

    Découvrez la Vie Apsidienne et vous aussi, devenez ApsidienOn aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut, mais on préfère que vous le découvriez vous-mêmes Découvrez votre future mission ContexteRejoignez notre Practise Cloud/Data, afin d’intervenir sur des sujets à haute valeur ajoutée !...


  • Neuilly-sur-Seine, Hauts-de-Seine, France WHIZE Temps plein

    Offre d’emploi pour un CDI : Consultant Data Engineer WHIZE est spécialisée dans le développement de solutions sur mesure en architecture Serverless (Azure, Amazon WS, Google CP) et de solutions basées sur l'écosystème Microsoft 365 (SharePoint, Teams, Power Platform). Concevoir des solutions de traitement de volume très important de données....

  • Consultant Data Engineer

    il y a 1 mois


    Neuilly-sur-Seine, Hauts-de-Seine, France WHIZE Temps plein

    Offre d’emploi pour un CDI : Consultant Data Engineer WHIZE est spécialisée dans le développement de solutions sur mesure en architecture Serverless (Azure, Amazon WS, Google CP) et de solutions basées sur l'écosystème Microsoft 365 (SharePoint, Teams, Power Platform). Vos missions : Concevoir des solutions de traitement de volume très...

  • Data Engineer Senior

    il y a 3 semaines


    Hauts-de-Seine, France AXA en France Temps plein

    EnvironnementEn tant que Senior Data Engineer F/H, vous allez contribuer directement aux projets des directions métier (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, …) d’AXA France et à la construction du socle technique Big Data.Vous allez intégrer une équipe d'une dizaine de personne...

  • Data Engineer Senior

    il y a 3 semaines


    Hauts-de-Seine, Ile-de-France AXA en France Temps plein

    EnvironnementEn tant que Senior Data Engineer F/H, vous allez contribuer directement aux projets des directions métier (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, …) d’AXA France et à la construction du socle technique Big Data.Vous allez intégrer une équipe d'une dizaine de personne...

  • Data Analytics

    il y a 1 mois


    Île-de-France Frank Recruitment Group Services Ltd Temps plein

    Data Engineer/Data analytique- Concevoir, implémenter et entretenir des pipelines de données efficaces et fiables en utilisant une gamme variée de technologies et de frameworks modernes (AWS, Azure, GCP | Airflow | Redshift, Big Query, Snowflake, etc.).- Développer des modèles de données avancés afin de soutenir des analyses complexes.- Garantir la...

  • Data Engineer H/F

    il y a 3 semaines


    Hauts-de-France LINCOLN Temps plein

    DATA ENGINEER H/FCDI3 ans minimumChez Lincoln, nous formons une communauté d'innovateurs passionnés qui redéfinissent l'analyse de données depuis plus de 30 ans. En tant que Pure Player Data, notre expertise est reconnue dans les domaines de la Modern BI, du Big Data et de la Science des données.Notre mission ? Transformer les données en...

  • Data Engineer H/F

    il y a 3 semaines


    Hauts-de-France, France LINCOLN Temps plein

    DATA ENGINEER H/FCDI3 ans minimumChez Lincoln, nous formons une communauté d'innovateurs passionnés qui redéfinissent l'analyse de données depuis plus de 30 ans. En tant que Pure Player Data, notre expertise est reconnue dans les domaines de la Modern BI, du Big Data et de la Science des données.Notre mission ? Transformer les données en...

  • Tech Lead Data Engineer

    il y a 3 semaines


    Hauts-de-Seine, France AXA en France Temps plein

    EnvironnementEn tant que Tech Lead Data Engineer F/H, vous allez contribuer directement aux projets des directions métier (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, …) d’AXA France et à la construction du socle technique Big Data.Vous allez intégrer une équipe d'une dizaine de personne...

  • Tech Lead Data Engineer

    il y a 3 semaines


    Hauts-de-Seine, Ile-de-France AXA en France Temps plein

    EnvironnementEn tant que Tech Lead Data Engineer F/H, vous allez contribuer directement aux projets des directions métier (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, …) d’AXA France et à la construction du socle technique Big Data.Vous allez intégrer une équipe d'une dizaine de personne...


  • Saint-Ouen, Seine-Saint-Denis, France Inetum Temps plein

    Informations générales Entité de rattachement Nous sommes une ESN agile, un groupe international certifié Top Employer Europe 2023. A l'ère de la post-transformation digitale, nous mettons tout en œuvre pour que chacun de nos 27 000 athlètes du digital puisse se renouveler perpétuellement, en vivant positivement son propre flow digital. ...

  • Consultant aws h/f

    il y a 1 mois


    Neuilly-sur-Seine, Hauts-de-Seine, France WHIZE Temps plein

    Offre pour un CDI : Consultant DataBricks / Python Whize est une filiale du groupe Neurones (7000 collaborateurs en France), spécialisée dans le domaine de la Data Intelligence et du développement de solutions sur mesure en architecture Serverless (Azure, AWS). Modern BI : expertise dans toute la chaine décisionnelle pour la création de tableaux de...

  • Data Engineer Senior H/F

    il y a 3 semaines


    Île-de-France HARDIS GROUP Temps plein

    GCP, Python, Data Pipeline, MicroServices, CI/CD, Machine learning, ces mots vous parlent, alors lisez la suite ! MISSIONAu sein de notre entité Business Applications parisienne et intégré(e) au sein d’une équipe projet, vous contribuez à l’élaboration et l’évolution des couches métiers des applications que nous réalisons pour nos clients.En...

  • Data Engineer Senior H/F

    il y a 3 semaines


    Île-de-France, France HARDIS GROUP Temps plein

    GCP, Python, Data Pipeline, MicroServices, CI/CD, Machine learning, ces mots vous parlent, alors lisez la suite ! MISSIONAu sein de notre entité Business Applications parisienne et intégré(e) au sein d’une équipe projet, vous contribuez à l’élaboration et l’évolution des couches métiers des applications que nous réalisons pour nos clients.En...

  • Consultant Data Engineer

    il y a 3 semaines


    Neuilly-sur-Seine, France WHIZE Temps plein

    Offre d’emploi pour un CDI : Consultant Data EngineerWHIZE est spécialisée dans le développement de solutions sur mesure en architecture Serverless (Azure, Amazon WS, Google CP) et de solutions basées sur l'écosystème Microsoft 365 (SharePoint, Teams, Power Platform).Vos missions :Concevoir des solutions de traitement de volume très important de...

  • Consultant Data Engineer

    il y a 1 mois


    Neuilly-sur-Seine, France WHIZE Temps plein

    Offre d’emploi pour un CDI : Consultant Data EngineerWHIZE est spécialisée dans le développement de solutions sur mesure en architecture Serverless (Azure, Amazon WS, Google CP) et de solutions basées sur l'écosystème Microsoft 365 (SharePoint, Teams, Power Platform).Vos missions :Concevoir des solutions de traitement de volume très important de...