Data Engineer AWS
il y a 1 mois
Nous recherchons pour l?un de nos clients un Data Engineer AWS.Contexte de la mission :Au sein de l'équipe chargée de développer des outils internes d?une entité, constituée de 10 personnes : Développeurs back/frond end et Ingénieurs Data, le Data Engineer AWS est en charge de mener à bien un besoin clé du Groupe autour du sujet Zéro Carbone.Affecté à l'équipe métier, nous travaillons en mode Scrum en collaboration avec un autre Data Engineer et un PO pour réaliser les tâches et mener à bien le projet à terme.Missions :- Créer des fonctions AWS Lambda et pour consommer des APIs provenant de l'extérieur (données Gas/Power) et alimenter nos buckets S3 dédiés.- Développer des jobs AWS Batch pour alimenter nos buckets S3 avec des données pré-calculées de l'intensité Carbon du Groupe et de ses clients.- Mettre en place des dashboards sur Quicksight pour visualiser les résultats.- Développer une API Flask et exposer les calculs via Swagger.- Exploration des données via AWS Athena.- Mise en place de Jupyter Notebooks pour exposer et valider nos premiers résultats de calculs aux métiers.- Scheduler des jobs via CloudWatch et StepFunctions.- Archiver l'ensemble du code dans Git et mettre en place un déploiement automatique via Azure Devops- Mise en place de WebApps sur Azure pour héberger nos API Flask.- Collaborer avec nos clients pour présenter nos calculs et les accompagner.Environnement technique : Spark, Python, Jupyter/ Pytest, Flask, Swagger, AWS Lambda/ Athena/ CloudWatch/ QuickSight/ Batch / S3/ Partionning/ Bucketing, Azure Devops/ Functions/ AppService/ Web Apps.Profil candidat:Vous avez acquis entre 3 et 5 ans d'expérience dans un poste similaire.Vous maîtrisez le Cloud AWS, Spark & Scala.Idéalement, vous avez une certification AWS.
-
Data Engineer
il y a 4 semaines
Paris, France Data Recrutement Temps pleinOffre publiée le 03-02-2023.- Paris - Toulouse - Fonction Data engineer hadoop spark - Taille entreprise de 21 à 50 - Télétravail à 100% - Technologies Aws - Technologies Gcp - Technologies Sql - Expérience 1 à 2 ans - Expérience 3 à 5 ans - Statut CDI - Min 50k€ - Max 60k€ - Why: - **Croissance à deux chiffres**: - **Entreprise rentable**: -...
-
Data Engineer
il y a 4 semaines
Paris, France Data Recrutement Temps pleinOffre publiée le 01-02-2023.- Paris - Toulouse - Fonction Data engineer hadoop spark - Taille entreprise de 21 à 50 - Télétravail à 100% - Technologies Aws - Technologies Elasticsearch - Technologies Gcp - Technologies Google cloud plateform - Technologies Sql - Expérience 1 à 2 ans - Expérience 3 à 5 ans - Statut CDI - Min 40k€ - Max 50k€ -...
-
data engineer aws
il y a 1 mois
Paris, Île-de-France SILAMIR Temps pleinOS MISSIONS : Dans le cadre de notre croissance, nous recherchons un Data Engineer AWS F/H au sein de son pôle Datascience.TES MISSIONS : Conception des solutions BigData avec les architectes Data Mise en œuvre des techniques permettant la collecte, le nettoyage, l'organisation, la valorisation, la synthèse et la modélisation des données Développement...
-
Data Engineer AWS
il y a 1 mois
Paris, France Signe + Temps pleinProfil Data Engineer AWS pour un projet Unified Data Plateforme qui vise à basculer de Azure à AWS Start Q2 basé à Paris.Projet de migration de Azure sur AWSProfil candidat:Autres technos : DBT, Iceberg redshift, AirflowAnglais mandatory
-
Data Engineer AWS
il y a 1 semaine
Paris, France Agyla.Cloud Temps pleinAgyla est depuis le 1er Juillet, LA référence en cloud public du groupe IBM Consulting. Nous sommes un cabinet de conseil informatique spécialisé en Cloud & DevOps. Ce sont 90 experts qui interviennent au cœur de la transformation technologique de nos clients, de la conception à la sécurisation en production. Nos technologies clés: AWS, Azure,...
-
Data Engineer AWS
il y a 4 jours
Paris, France Agyla.Cloud Temps pleinAgyla est depuis le 1er Juillet, LA référence en cloud public du groupe IBM Consulting.Nous sommes un cabinet de conseil informatique spécialisé en Cloud & DevOps. Ce sont 90 experts qui interviennent au cœur de la transformation technologique de nos clients, de la conception à la sécurisation en production.Nos technologies clés: AWS, Azure,...
-
Data Engineer AWS
il y a 1 semaine
Greater Paris Metropolitan Region, FR Agyla.Cloud Temps pleinAgyla est depuis le 1er Juillet, LA référence en cloud public du groupe IBM Consulting.Nous sommes un cabinet de conseil informatique spécialisé en Cloud & DevOps. Ce sont 90 experts qui interviennent au cœur de la transformation technologique de nos clients, de la conception à la sécurisation en production.Nos technologies clés: AWS, Azure,...
-
Data Engineer AWS
il y a 5 jours
Greater Paris Metropolitan Region, France Agyla.Cloud Temps pleinAgyla est depuis le 1er Juillet, LA référence en cloud public du groupe IBM Consulting.Nous sommes un cabinet de conseil informatique spécialisé en Cloud & DevOps. Ce sont 90 experts qui interviennent au cœur de la transformation technologique de nos clients, de la conception à la sécurisation en production.Nos technologies clés: AWS, Azure,...
-
Data Engineer Aws
il y a 1 mois
Paris, France UCASE CONSULTING Temps pleinBonjour, Pour le compte de notre client, nous recherchons un data engineer AWS. **Technos**: PYTHON / S3 / GLUE / ATHENA Run & Build Développement Optimisation Création de pipeline de données **TT**: 3/ semaine **Site**: paris **Mission**: longue (2 à 3 ans) ça vous tente ? postulez !! A très vite TEAM UCASE ;)
-
Data Engineer Aws
il y a 1 mois
Paris, France Onetribe SAS Temps pleinLe/la Data Engineer est responsable du développement de structures et de pipelines à grande échelle pour collecter, préparer, transformer et diffuser des données. Il/elle est responsable du déploiement et de la surveillance des pipelines de données / s’assurer de la manière dont les données seront stockées, consommées, intégrées et gérées...
-
Data Engineer AWS
il y a 4 semaines
Paris, Île-de-France Devoteam Temps pleinDescription de l'entrepriseLe Data Engineering est essentiel pour façonner l'avenir de l'analyse de données. En construisant et en optimisant les pipelines de données, les data engineers permettent aux entreprises d'exploiter pleinement leur potentiel analytique. Leur rôle crucial dans la collecte, le stockage et le traitement des données garantit une...
-
Data Engineer
il y a 1 mois
Paris, France Data Recrutement Temps pleinOffre publiée le 20-03-2024.- Paris - Fonction Data engineer hadoop spark - Taille entreprise de 21 à 50 - Télétravail partiel - Technologies Azure - Technologies Etl - Technologies Spark - Expérience 3 à 5 ans - Statut CDI - Min 60k€ - Max 70k€ - Why: - **Entreprise rentable**: - **Challenger sur son marché**: - **Entreprise à...
-
Data Engineer
il y a 1 mois
Paris La Défense Cedex, France DXC Technology Temps pleinJob Description:Chez DXC Technology, nous agissons en tant que conseiller indépendant et de confiance dans la numérisation de l'entreprise du client. Nos employés sont responsables de l'optimisation des processus industriels de nos clients dans de nombreux domaines de marché différents ainsi que du développement, de la mise en œuvre et de la gestion...
-
Data engineer AWS Sénior
il y a 1 mois
Paris, France Apside Temps pleinDécouvrez la Vie Apsidienne et vous aussi, devenez ApsidienOn aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut, mais on préfère que vous le découvriez vous-mêmes Découvrez votre future mission Contexte Rejoignez notre Practise Cloud/Data, afin d’intervenir sur des sujets à haute valeur ajoutée...
-
Senior Data Engineer AWS
il y a 4 semaines
Paris, Île-de-France Devoteam Temps pleinDescription de l'entrepriseLe data engineering est essentiel pour l'analyse de données. En construisant et en optimisant les pipelines de données, les data engineers permettent aux entreprises d'exploiter pleinement leur potentiel analytique. Leur rôle crucial dans la collecte, le stockage et le traitement des données garantit une base solide pour les...
-
Data engineer AWS/Azure
il y a 1 mois
Paris, France Apside Temps pleinDécouvrez la Vie Apsidienne et vous aussi, devenez ApsidienOn aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut, mais on préfère que vous le découvriez vous-mêmes Découvrez votre future mission ContexteRejoignez notre Practise Cloud/Data, afin d’intervenir sur des sujets à haute valeur ajoutée !...
-
Data Engineer Python, Spark Et Aws
il y a 1 mois
Paris 9e, France Datapy Temps plein**Description du poste**: Responsabilités: - Concevoir, développer et mettre en œuvre des pipelines de données robustes et évolutifs. - Collaborer avec les équipes de développement et d'analyse pour comprendre les besoins et les exigences en matière de données. - Effectuer l'ingestion, la transformation et la manipulation de données à grande...
-
Lead Data Engineer
il y a 1 mois
La Défense, France BearingPoint Temps pleinBearingPoint est un cabinet de Conseil référent qui a investi depuis une décennie dans l’IA et le Machine Learning. L’équipe Products, notre Data Factory, réunit aujourd’hui un spectre large de compétences et d’expertises (data engineer, data scientist, devops, dev full stack, architecte, RPA) mobilisées au quotidien dans le Build et le Run...
-
Data Engineer
il y a 2 jours
Paris, Île-de-France GROUPE LA CENTRALE Temps pleinQuelles sont les missions ?Notre équipe "Data Platform & BI" aide à gérer la donnée et à accélérer la prise de décision en proposant une plateforme Datamesh et une BI as a service à l'ensemble du groupe.Rejoignez-nous pour devenir Data Platform EngineerA ce titre, vous porterez des sujets techniques et participerez aux développements au sein de...
-
Production Data Engineer
il y a 1 semaine
Paris, France Agyla.Cloud Temps pleinAgyla est depuis le 1er Juillet, LA référence en cloud public du groupe IBM Consulting. Nous sommes un cabinet de conseil informatique spécialisé en Cloud & DevOps. Ce sont 90 experts qui interviennent au cœur de la transformation technologique de nos clients, de la conception à la sécurisation en production. Nos technologies clés: AWS, Azure,...