Data Engineer AWS

il y a 3 semaines


NeuillysurSeine, Île-de-France 4 Impact Temps plein

Nous recherchons pour l'un de nos clients un Data Engineer AWS.

Contexte de la mission :

Au sein de l'équipe chargée de développer des outils internes d'une entité, constituée de 10 personnes : Développeurs back/frond end et Ingénieurs Data, le Data Engineer AWS est en charge de mener à bien un besoin clé du Groupe autour du sujet Zéro Carbone.


Affecté à l'équipe métier, nous travaillons en mode Scrum en collaboration avec un autre Data Engineer et un PO pour réaliser les tâches et mener à bien le projet à terme.

Missions :

- Créer des fonctions AWS Lambda et pour consommer des APIs provenant de l'extérieur (données Gas/Power) et alimenter nos buckets S3 dédiés.
- Développer des jobs AWS Batch pour alimenter nos buckets S3 avec des données pré-calculées de l'intensité Carbon du Groupe et de ses clients.
- Mettre en place des dashboards sur Quicksight pour visualiser les résultats.
- Développer une API Flask et exposer les calculs via Swagger.
- Exploration des données via AWS Athena.
- Mise en place de Jupyter Notebooks pour exposer et valider nos premiers résultats de calculs aux métiers.
- Scheduler des jobs via CloudWatch et StepFunctions.
- Archiver l'ensemble du code dans Git et mettre en place un déploiement automatique via Azure Devops
- Mise en place de WebApps sur Azure pour héberger nos API Flask.
- Collaborer avec nos clients pour présenter nos calculs et les accompagner.


Environnement technique : Spark, Python, Jupyter/ Pytest, Flask, Swagger, AWS Lambda/ Athena/ CloudWatch/ QuickSight/ Batch / S3/ Partionning/ Bucketing, Azure Devops/ Functions/ AppService/ Web Apps.


  • Lead Data Engineer

    il y a 3 jours


    Neuilly-sur-Seine, Île-de-France JCDecaux Temps plein

    Descriptif du posteAu sein de la Direction Data, chargée de l'exploitation et de la valorisation des données à travers le groupe et ses 80 filiales internationales, nous recherchons un(e) Lead Data Engineer pour intégrer une équipe dynamique en forte croissance composée de Data Scientists, Data Engineers, Devs Web, Cloud DevOps & Project Managers....

  • Consultant Data Engineer

    il y a 3 jours


    Neuilly-sur-Seine, Île-de-France WHIZE Temps plein

    Offre d'emploi pour un CDI : Consultant Data Engineer WHIZE est spécialisée dans le développement de solutions sur mesure en architecture Serverless (Azure, Amazon WS, Google CP) et de solutions basées sur l'écosystème Microsoft 365 (SharePoint, Teams, Power Platform). Concevoir des solutions de traitement de volume très important de données. ...

  • Data Engineer

    il y a 3 jours


    Neuilly-sur-Seine, Île-de-France Clarins Temps plein

    DATA ENGINEER H/F**Prêt à insuffler de la passion à votre carrière ?**Leader mondial du soin et du maquillage d'origine naturelle, le groupe Clarins est avant tout l'incarnation d'une histoire familiale engagée, mue par sa passion pour l'innovation et son esprit d'indépendance. Sa raison d'être est de « rendre la vie plus belle, transmettre un monde...

  • Lead data engineer

    il y a 3 jours


    Neuilly-sur-Seine, Île-de-France AXA en France Temps plein

    Environnement En tant que Tech Lead Data Engineer F/H, vous allez contribuer directement aux projets des directions métier (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, ...) d"AXA France et à la construction du socle technique Big Data. Vous allez intégrer une équipe d'une dizaine de personne...

  • Data Engineer

    il y a 3 jours


    Neuilly-sur-Seine, Île-de-France APGAR Temps plein

    Apgar Consulting, fondée en 2013, est une société de conseil en Data de premier plan, reconnue par les analystes comme Gartner, qui accompagne ses clients dans leur parcours pour construire une base de données fiables.De la sensibilisation des personnes aux changements organisationnels en passant par l'activation et le support technologiques, nous...

  • Data Engineer

    il y a 3 jours


    Neuilly-sur-Seine, Île-de-France PREREQUIS Temps plein

    Descriptif du posteVos missions:Développement, conception et industrialisation de solutions data, permettant le traitement et le contrôle de volumes importants de données.Collecte, préparation/nettoyage, gouvernance et mise à disposition des données pour analyseSuivi de production et maintenance.Profil recherchéVotre profil:De formation Bac minimum 3...

  • Tech Lead Data Engineer

    il y a 3 jours


    Neuilly-sur-Seine, Île-de-France AXA en France Temps plein

    Environnement En tant que Tech Lead Data Engineer F/H, vous allez contribuer directement aux projets des directions métier (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, ...) d'AXA France et à la construction du socle technique Big Data. Vous allez intégrer une équipe d'une dizaine de personne...


  • Neuilly-sur-Seine, Île-de-France CENOVA Temps plein

    _**Entrez dans notre univers « être sérieux sans se prendre au sérieux » **_Cabinet à forte croissance, Cenova accompagne ses clients du **#*_**Luxe**_, du _**#Retail**_ _et du _**#Tourisme/Loisirs**_ _dans _leurs projets de **transformation Data et Digitale, *et ce sur l'ensemble des problématiques métiers (marketing, produit, supply, RSE,).**VOTRE...

  • Data Engineer H/F

    il y a 3 jours


    Neuilly-sur-Seine, Île-de-France Apgar Consulting Temps plein

    En qualité de Data Engineer, vous travaillez au sein d'une équipe intervenant directement sur un projet client pour participer aux missions suivantes : . Vous participez à toutes les phases de mise en oeuvre de solutions de Data Management ; . Vous participez à l'analyse des besoins, rédigez les spécifications fonctionnelles et assurez l'adéquation de...

  • Expert Data Kafka

    Il y a 2 mois


    Neuilly-sur-Seine, Île-de-France TRSB Temps plein

    Fiche de posteExpert Data/Kafka, +5 ans d'expérienceMission :Le profil recherché intégrera une équipe transverse qui gère, entre autres systèmes et applications, uneplateforme d'échange de données basée sur Apache Kafka.le consultant participera aux différentes activités de l'équipe :· L'expertise Data et Kafka à destination des équipes de...

  • Expert Data Kafka

    il y a 2 jours


    Neuilly-sur-Seine, Île-de-France TRSB Temps plein

    Fiche de posteExpert Data/Kafka, +5 ans d?expérienceMission:plateforme d?échange de données basée sur Apache Kafka.le consultant participera aux différentes activités de l?équipe:- L?expertise Data et Kafka à destination des équipes de développement et infrastructures- Le support aux équipes de développement sur les sujets d?intégration de...


  • Neuilly-sur-Seine, Île-de-France APGAR Temps plein

    Apgar Consulting, fondée en 2013, est une société de conseil en Data de premier plan, reconnue par les analystes comme Gartner, qui accompagne ses clients dans leur parcours pour construire une base de données fiables.De la sensibilisation des personnes aux changements organisationnels en passant par l'activation et le support technologiques, nous...

  • Technical Data Engineer Senior

    il y a 2 semaines


    Neuilly-sur-Seine, Île-de-France APGAR Temps plein

    Apgar Consulting, fondée en 2013, est une société de conseil en Data de premier plan, reconnue par les analystes comme Gartner, qui accompagne ses clients dans leur parcours pour construire une base de données fiables.De la sensibilisation des personnes aux changements organisationnels en passant par l'activation et le support technologiques, nous...

  • Senior Data Engineer H/F

    il y a 3 semaines


    Hauts-de-Seine - 92, Ile-de-France SNCF Connect & Tech Temps plein

    Au sein de l'équipe Business&Client, les Data Engineers répondent aux besoins de reporting de l'activité commerciale de notre plateforme e-commerce : SNCF Connect, application de réservation de billets de train en ligne.En lien direct avec les équipes Marketing et la Direction Générale, vous collectez et transformez la donnée. Dans un...

  • Développeur Java/AWS

    il y a 3 jours


    Neuilly-sur-Seine, Île-de-France Apside Temps plein

    On aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l'ESN qu'il vous faut, mais on préfère que vous le découvriez vous-mêmes ???????????? Découvrez votre future mission //???? Contexte Client : Secteur audiovisuel Méthode de travail : Agile - Scrum Rôle : Analyser, paramétrer et coder les composants logiciels applicatifs...


  • Neuilly-sur-Seine, Île-de-France Apgar Consulting Temps plein

    En qualité de Technical Data Engineer, vous travaillez au sein d'une équipe intervenant directement sur un projet client pour participer aux missions suivantes : - Missions externes : - Vous participez à toutes les phases techniques de mise en oeuvre de solutions de Data Management ; - Vous intervenez dans la conception et la définition de l'architecture...


  • Ivry-sur-Seine, Île-de-France MICHAEL PAGE Temps plein

    Quelles sont les missions ?En tant que Data Engineer/Architecte, vos missions seront les suivantes : * Être responsable de la conception et de la gestion de l'architecture des données sur la plateforme GCP, * Vous définissez l'architecture, les normes et bonnes pratiques, * Vous prenez en compte les besoins fonctionnels afin d'établir le design, * Vous...

  • Data Engineer/Architecte H/F

    il y a 3 semaines


    Ivry-sur-Seine, Île-de-France MICHAEL PAGE Temps plein

    Quelles sont les missions ?En tant que Data Engineer/Architecte, vos missions seront les suivantes : * Être responsable de la conception et de la gestion de l'architecture des données sur la plateforme GCP, * Vous définissez l'architecture, les normes et bonnes pratiques, * Vous prenez en compte les besoins fonctionnels afin d'établir le design, * Vous...


  • Neuilly-sur-Seine, Île-de-France JCDecaux Temps plein

    Rejoignez nos équipes, nous vous attendons Mission Au sein dela nouvelle Direction Data, chargée de l'exploitation et de la valorisation desdonnées à travers le groupe, nous recherchons un Développeur Web Full Stackpour intégrer une équipe dynamique en forte croissance composée de DataScientists, Data Engineers, Product Owners, DevOps et Full...


  • Neuilly-sur-Seine, Île-de-France Apgar Consulting Temps plein

    Missions :En qualité d'ingénieur DEVOPS, vous travaillez au sein de la direction technique pour participer aux missions suivantes : Missions interne : - Vous participez à la conception de la nouvelle infrastructure de développement de nos solutions ; - Vous serez garant de la mise en place de cette plateforme de développement et de sa maintenance, -...