Cloud Data Engineer AWS
Il y a 12 heures
Marseille, Provence-Alpes-Côte d'Azur, France
Visian
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Vos missions
• Concevoir et faire évoluer une architecture de streaming pour la collecte, le traitement et l'analyse des données
• Développer des pipelines de traitement temps réel et batch avec Apache Flink, Apache Spark et Apache Iceberg
• Déployer les pipelines d'ingestion et de traitement en CI/CD et Infrastructure as Code, pour les environnements batch et streaming
• Participer à la migration et au refactoring de l'architecture historique vers AWS (Move to Cloud, ETL/ELT, batch et streaming)
• Contribuer à l'implémentation d'algorithmes de maintenance prédictive et de routage
• Industrialiser et exposer des modèles de Machine Learning sous forme d'API, en lien avec les équipes data science
• Assurer le monitoring, la fiabilité et la performance des traitements en production Environnement technique
• Streaming et traitement : Apache Flink, Apache Kafka (MSK), Kinesis, Apache Spark, Apache Iceberg
• Orchestration : Apache Airflow (MWAA)
• Cloud AWS : S3, Lambda, EKS, ECS, EC2, ECR, IAM, IoT Core
• IoT : MQTT, données capteurs remontées par satellite
• Data warehouse : Snowflake
• DevOps / IaC : Terraform, Docker, CI/CD
• Langages : Python, SQL
Profil recherché
• Formation Bac+5 (école d'ingénieur ou master) en informatique, data ou télécommunications
• Au moins 5 ans d'expérience en data engineering, dont une part significative sur AWS
• Expérience solide des architectures streaming à forte volumétrie (Flink, Kafka ou Kinesis)
• Maîtrise de Terraform et des pratiques CI/CD appliquées aux pipelines de données
• Une expérience d'industrialisation de modèles ML (MLOps, mise en API, monitoring) est un vrai plus
• Une connaissance des données IoT ou industrielles (maintenance prédictive, capteurs) est appréciée
• Une certification AWS (Solutions Architect, Data Engineer) est un atout
• Anglais professionnel Savoir-être
• Autonomie et sens des responsabilités sur des systèmes critiques en production
• Capacité à dialoguer avec les équipes métier pour traduire leurs besoins en solutions techniques
• Rigueur, goût de la performance et de la qualité de la donnée
• Esprit d'équipe et envie de partager ses pratiques Informations pratiques
• Contrat : CDI chez Visian Azur
• Lieu : Marseille, présence régulière sur le site du client
• Démarrage : à définir ensemble
• Rémunération : selon profil et expérience
• Concevoir et faire évoluer une architecture de streaming pour la collecte, le traitement et l'analyse des données
• Développer des pipelines de traitement temps réel et batch avec Apache Flink, Apache Spark et Apache Iceberg
• Déployer les pipelines d'ingestion et de traitement en CI/CD et Infrastructure as Code, pour les environnements batch et streaming
• Participer à la migration et au refactoring de l'architecture historique vers AWS (Move to Cloud, ETL/ELT, batch et streaming)
• Contribuer à l'implémentation d'algorithmes de maintenance prédictive et de routage
• Industrialiser et exposer des modèles de Machine Learning sous forme d'API, en lien avec les équipes data science
• Assurer le monitoring, la fiabilité et la performance des traitements en production Environnement technique
• Streaming et traitement : Apache Flink, Apache Kafka (MSK), Kinesis, Apache Spark, Apache Iceberg
• Orchestration : Apache Airflow (MWAA)
• Cloud AWS : S3, Lambda, EKS, ECS, EC2, ECR, IAM, IoT Core
• IoT : MQTT, données capteurs remontées par satellite
• Data warehouse : Snowflake
• DevOps / IaC : Terraform, Docker, CI/CD
• Langages : Python, SQL
Profil recherché
• Formation Bac+5 (école d'ingénieur ou master) en informatique, data ou télécommunications
• Au moins 5 ans d'expérience en data engineering, dont une part significative sur AWS
• Expérience solide des architectures streaming à forte volumétrie (Flink, Kafka ou Kinesis)
• Maîtrise de Terraform et des pratiques CI/CD appliquées aux pipelines de données
• Une expérience d'industrialisation de modèles ML (MLOps, mise en API, monitoring) est un vrai plus
• Une connaissance des données IoT ou industrielles (maintenance prédictive, capteurs) est appréciée
• Une certification AWS (Solutions Architect, Data Engineer) est un atout
• Anglais professionnel Savoir-être
• Autonomie et sens des responsabilités sur des systèmes critiques en production
• Capacité à dialoguer avec les équipes métier pour traduire leurs besoins en solutions techniques
• Rigueur, goût de la performance et de la qualité de la donnée
• Esprit d'équipe et envie de partager ses pratiques Informations pratiques
• Contrat : CDI chez Visian Azur
• Lieu : Marseille, présence régulière sur le site du client
• Démarrage : à définir ensemble
• Rémunération : selon profil et expérience