Data Engineer Senior
Il y a 7 mois
Paris, Ile-de-France
Informatis
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Dans le cadre du développement d’une plateforme data orientée IoT industriel, notre client recherche un Data Engineer Senior pour concevoir et faire évoluer des pipelines de données à forte volumétrie, en environnement cloud AWS. Vous interviendrez sur des architectures modernes combinant temps réel, batch et analytics avancé, avec une forte exigence en performance, scalabilité et qualité des données. ________________________________________ 🚀 Vos missions 🔹 Data Engineering & pipelines
• Concevoir et maintenir des pipelines de données end-to-end (batch et temps réel)
• Gérer l’ingestion, la transformation et la mise à disposition des données IoT
• Développer des traitements distribués avec Spark / Flink
• Optimiser les performances et la scalabilité des flux de données 🔹 Architecture & stockage
• Concevoir des architectures data scalables (Lakehouse, time-series, données opérationnelles)
• Mettre en place des solutions de stockage adaptées aux usages analytiques
• Participer à la gouvernance et à la structuration des données 🔹 API & services data
• Développer des API robustes en Python (FastAPI)
• Exposer les données et services pour les besoins métiers et analytiques 🔹 Streaming & orchestration
• Implémenter des architectures temps réel avec AWS Kinesis
• Orchestrer les workflows batch avec Airflow 🔹 Qualité & observabilité
• Garantir la qualité, la fiabilité et la traçabilité des données
• Mettre en place des outils de monitoring et d’observabilité (Grafana, etc.) 🔹 DevOps & industrialisation
• Déployer et maintenir les infrastructures via Terraform / Terragrunt
• Mettre en œuvre les bonnes pratiques CI/CD (GitLab)
• Adopter une approche build–run–own des services data 🔹 Collaboration
• Travailler en étroite collaboration avec les équipes Data, Produit et Backend
• Traduire les besoins métiers en solutions data industrialisées
• Participer à un environnement Agile orienté amélioration continue ________________________________________ 🛠️ Environnement technique ☁️ Cloud & infrastructure
• AWS : S3, Lambda, Kinesis, ECS, Fargate, CloudWatch
• Architectures serverless et temps réel 📊 Data Platform
• Databricks
• Delta Lake / Lakehouse 🔄 Streaming & traitement distribué
• Apache Spark
• Apache Flink 📦 Données
• SQL (bases relationnelles)
• Données temporelles (time-series) 🌐 IoT
• MQTT
• AWS IoT / SiteWise
• Modélisation d’actifs 📈 Monitoring
• Grafana
• InfluxDB 💻 Développement
• Python (FastAPI)
• Scala ⚙️ DevOps
• Terraform / Terragrunt
• GitLab CI/CD 🔁 Orchestration
• Airflow Compétences requises :
Profil recherché
• Minimum 6 ans d’expérience en Data Engineering
• Expertise confirmée sur AWS et architectures data modernes
• Solide expérience en Spark / traitement distribué
• Maîtrise des pipelines temps réel et batch
• Expérience sur des environnements IoT ou industriels appréciée
• Forte sensibilité aux problématiques de qualité et observabilité des données ________________________________________ 🤝 Soft skills
• Esprit analytique et orienté solution
• Autonomie et rigueur
• Capacité à travailler dans des environnements complexes
• Bon relationnel et esprit d’équipe
• Concevoir et maintenir des pipelines de données end-to-end (batch et temps réel)
• Gérer l’ingestion, la transformation et la mise à disposition des données IoT
• Développer des traitements distribués avec Spark / Flink
• Optimiser les performances et la scalabilité des flux de données 🔹 Architecture & stockage
• Concevoir des architectures data scalables (Lakehouse, time-series, données opérationnelles)
• Mettre en place des solutions de stockage adaptées aux usages analytiques
• Participer à la gouvernance et à la structuration des données 🔹 API & services data
• Développer des API robustes en Python (FastAPI)
• Exposer les données et services pour les besoins métiers et analytiques 🔹 Streaming & orchestration
• Implémenter des architectures temps réel avec AWS Kinesis
• Orchestrer les workflows batch avec Airflow 🔹 Qualité & observabilité
• Garantir la qualité, la fiabilité et la traçabilité des données
• Mettre en place des outils de monitoring et d’observabilité (Grafana, etc.) 🔹 DevOps & industrialisation
• Déployer et maintenir les infrastructures via Terraform / Terragrunt
• Mettre en œuvre les bonnes pratiques CI/CD (GitLab)
• Adopter une approche build–run–own des services data 🔹 Collaboration
• Travailler en étroite collaboration avec les équipes Data, Produit et Backend
• Traduire les besoins métiers en solutions data industrialisées
• Participer à un environnement Agile orienté amélioration continue ________________________________________ 🛠️ Environnement technique ☁️ Cloud & infrastructure
• AWS : S3, Lambda, Kinesis, ECS, Fargate, CloudWatch
• Architectures serverless et temps réel 📊 Data Platform
• Databricks
• Delta Lake / Lakehouse 🔄 Streaming & traitement distribué
• Apache Spark
• Apache Flink 📦 Données
• SQL (bases relationnelles)
• Données temporelles (time-series) 🌐 IoT
• MQTT
• AWS IoT / SiteWise
• Modélisation d’actifs 📈 Monitoring
• Grafana
• InfluxDB 💻 Développement
• Python (FastAPI)
• Scala ⚙️ DevOps
• Terraform / Terragrunt
• GitLab CI/CD 🔁 Orchestration
• Airflow Compétences requises :
Profil recherché
• Minimum 6 ans d’expérience en Data Engineering
• Expertise confirmée sur AWS et architectures data modernes
• Solide expérience en Spark / traitement distribué
• Maîtrise des pipelines temps réel et batch
• Expérience sur des environnements IoT ou industriels appréciée
• Forte sensibilité aux problématiques de qualité et observabilité des données ________________________________________ 🤝 Soft skills
• Esprit analytique et orienté solution
• Autonomie et rigueur
• Capacité à travailler dans des environnements complexes
• Bon relationnel et esprit d’équipe