Data Engineer DevOps Aws

il y a 2 jours

SaintDenis, France Atlas Connect Temps plein

Nous recherchons un Data Engineer | DevOps AWS (H/F) pour contribuer à la construction, à l?évolution et à la fiabilité d?un Data Lake stratégique, au c?ur des projets liés à l?analyse de l?expérience utilisateur.
Vous interviendrez sur l?ensemble de la chaîne de traitement des données (ingestion, transformation, restitution) au sein d?un environnement AWS moderne, dans une logique d?industrialisation, de performance et de qualité de service.
**Vos principales missions**:
? Maintenir et faire évoluer une architecture data scalable sur AWS, adaptée à des volumes importants de données hétérogènes (logs, fichiers, API?).
? Concevoir et structurer les différentes couches du Data Lake (Landing, Bronze, Silver) en lien avec les besoins métiers et les bonnes pratiques data.
? Développer des pipelines de traitement de données robustes et automatisés (ETL/ELT), en batch ou quasi temps réel, via des services AWS : Glue, Lambda, EMR, Redshift, S3?
? Orchestrer les flux de données et automatiser les traitements entre les différentes couches du Data Lake.
**? Assurer le MCO**: surveillance, détection et résolution des incidents, fiabilisation des flux, documentation technique.
? Intégrer de nouvelles sources de données aux formats variés (API REST, fichiers plats, logs applicatifs?) tout en assurant sécurité et performance.
? Mettre en place des mécanismes de gestion des rejets et de réconciliation pour garantir la qualité et la cohérence des données.
? Participer à l?amélioration continue de la plateforme (veille, refonte, optimisation), dans une logique DataOps (CI/CD, qualité, tests, versioning).
? Collaborer avec les équipes projet, data analysts, data scientists et métiers pour aligner les solutions techniques avec les usages attendus.
? Documenter l?architecture, les traitements et les processus pour assurer la traçabilité, la maintenabilité et la capitalisation.
**? Solide expertise sur les services data AWS**: Glue, S3, Lambda, Redshift, EMR, etc.
? Maîtrise des concepts ETL/ELT, modélisation de données, traitement batch et temps réel.
? Bonnes connaissances en architecture data (Data Lake, Data Mart, zones Bronze/Silver/Gold).
? Expérience en gestion d?infrastructures data dans une approche DevOps (CI/CD, monitoring, automatisation).
? Compétences en scripting (Python, SQL) et gestion des accès/sécurité sur AWS.
? Connaissance d?outils de supervision (CloudWatch, Datadog) et d?orchestration (Glue Workflow, Step Functions).
**Qualités personnelles**:
? Autonomie, rigueur et capacité à gérer des environnements complexes.
? Bon relationnel pour travailler en équipe pluridisciplinaire.
? Esprit analytique, sens de l?initiative, capacité à documenter et à transmettre.
? Forte orientation qualité et amélioration continue.

  • Data Engineer Spark/aws

    il y a 2 semaines

    Saint-Denis, France VISIAN Temps plein

    Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Spark/AWS LivrablesDéfinir et analyser des structures de données, Contribuer aux assets des différentes équipes produits pour interconnecter et collecter les données, Mettre à disposition de la data et des recommandations à des systèmes externes (APIs,...

  • Data Engineer Pyspark/aws

    il y a 3 jours

    Saint-Denis, France VISIAN Temps plein

    Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Pyspark/AWS **Missions**: Concevoir, développer et optimiser des pipelines de données robustes, performants et scalables. Encadrer et apporter une expertise technique sur les choix d?architecture et de stack. Déployer et orchestrer des traitements distribués...

  • Data Engineer

    il y a 2 semaines

    Saint-Denis, Île-de-France Free-Work Temps plein

    Nous recherchons unData Engineer | DevOps AWS (H/F)pour contribuer à laconstruction, àl'évolutionet à lafiabilitéd'unData Lake stratégique, au cœur des projets liés à l'analyse de l'expérience utilisateur.Vous interviendrez sur l'ensemble de lachaîne de traitement des données(ingestion, transformation, restitution) au sein d'un...

  • DevOps Aws

    il y a 1 semaine

    Saint-André-lez-Lille, Hauts-de-France Collective Temps plein

    Budget: selon profilUrgent – Mission Freelance DevOps AWS Sénior (H/F)Localisation: Saint-André-Lez-Lille (Nord)Présentiel: 2 jours / semaineaprès onboarding réussi (ce qui induit full présentiel pendant l'onbording)Démarrage: 5 janvierDurée: 6 moisTJM: selon profilContexte de la missionDans le cadre d'unrenfort immédiat, nous recherchons unDevOps...

  • Data Center Engineer: Critical Infra

    il y a 2 semaines

    Saint-Denis-lès-Rebais, France Amazon Web Services (AWS) Temps plein

    A leading tech infrastructure provider in France is seeking a DCEO Engineer to ensure the reliability of electrical and mechanical systems in their Data Centers. The successful candidate will perform maintenance and troubleshooting of critical infrastructure components, including UPS and chillers, while providing supervision to contractors. Good...

  • Data Engineer

    il y a 1 semaine

    Saint-Denis, France Showroomprive.com Temps plein

    Tu es passionné par le e-commerce ? Tu souhaites travailler dans un environnement dynamique et stimulant où les opportunités sont nombreuses et les challenges quotidiens ?! **#Il est urgent de nous rejoindre !** Acteur majeur du e-commerce en Europe, Showroomprive organise pour ses 21 millions de membres des ventes exclusives, limitées dans le temps,...

  • Senior Data Engineer

    il y a 2 semaines

    Saint-Perdoux, France Sogeti Temps plein

    OverviewJoin to apply for the Senior Data Engineer role at Sogeti.3 days ago Be among the first 25 applicants.Chez Sogeti, la technologie coule dans nos veines. C’est cet intérêt pour la technologie qui nous guide au quotidien et qui est refleté dans notre slogan « Made In Tech ».ResponsibilitiesConcevoir, développer et maintenir des pipelines de...

  • Tech Data Product Owner + AWS

    il y a 2 semaines

    Saint-Denis, Île-de-France Collective Temps plein

    Budget: 600Mission Freelance longue duréeParis /IDFContexteDans le cadre de la refonte de notre architecture technique data, nous pilotons plusieurs projets stratégiques visant à transformer en profondeur la façon dont les équipes produisent, transforment et exploitent les données.Pour accompagner cette transformation, nous recherchons un Chef de...

  • DCEO Engineer, DCEO

    il y a 2 semaines

    Saint-Denis-lès-Rebais, France Amazon Web Services (AWS) Temps plein

    OverviewJoin to apply for the DCEO Engineer, DCEO role at AWS. AWS Infrastructure Services (AIS) is seeking an Engineering Operations Technician to support mission critical Data Centers, ensuring availability and reliability of electrical and mechanical infrastructure. The role involves maintaining equipment that supports mission-critical servers with uptime...

  • Regional Chief Engineer, Operations, DCEO

    il y a 2 semaines

    Saint-Denis-lès-Rebais, France Amazon Web Services (AWS) Temps plein

    OverviewRegional Chief Engineer, Operations, DCEO – Amazon Web Services (AWS). The Regional Chief Engineer (CE) for Data Center Engineering Operations ensures electrical, mechanical and fire/life safety equipment operate at peak efficiency, maintains high availability, and provides leadership to Engineering Operation Technicians and vendors. The role...