Data Engineer Senior

Dans le cadre du développement d’une plateforme data orientée IoT industriel, notre client recherche un Data Engineer Senior pour concevoir et faire évoluer des pipelines de données à forte volumétrie, en environnement cloud AWS. Vous interviendrez sur des architectures modernes combinant temps réel, batch et analytics avancé, avec une forte exigence en performance, scalabilité et qualité des données. ________________________________________ �
� Vos missions 🔹 Data Engineering & pipelines �
� Concevoir et maintenir des pipelines de données end-to-end (batch et temps réel) �
� Gérer l’ingestion, la transformation et la mise à disposition des données IoT �
� Développer des traitements distribués avec Spark / Flink �
� Optimiser les performances et la scalabilité des flux de données 🔹 Architecture & stockage �
� Concevoir des architectures data scalables (Lakehouse, time-series, données opérationnelles) �
� Mettre en place des solutions de stockage adaptées aux usages analytiques �
� Participer à la gouvernance et à la structuration des données 🔹 API & services data �
� Développer des API robustes en Python (FastAPI) �
� Exposer les données et services pour les besoins métiers et analytiques 🔹 Streaming & orchestration �
� Implémenter des architectures temps réel avec AWS Kinesis �
� Orchestrer les workflows batch avec Airflow 🔹 Qualité & observabilité �
� Garantir la qualité, la fiabilité et la traçabilité des données �
� Mettre en place des outils de monitoring et d’observabilité (Grafana, etc.) 🔹 DevOps & industrialisation �
� Déployer et maintenir les infrastructures via Terraform / Terragrunt �
� Mettre en œuvre les bonnes pratiques CI/CD (GitLab) �
� Adopter une approche build–run–own des services data 🔹 Collaboration �
� Travailler en étroite collaboration avec les équipes Data, Produit et Backend �
� Traduire les besoins métiers en solutions data industrialisées �
� Participer à un environnement Agile orienté amélioration continue ________________________________________ 🛠️ Environnement technique ☁️ Cloud & infrastructure �
� AWS : S3, Lambda, Kinesis, ECS, Fargate, CloudWatch �
� Architectures serverless et temps réel 📊 Data Platform �
� Databricks �
� Delta Lake / Lakehouse 🔄 Streaming & traitement distribué �
� Apache Spark �
� Apache Flink 📦 Données �
� SQL (bases relationnelles) �
� Données temporelles (time-series) 🌐 IoT �
� MQTT �
� AWS IoT / SiteWise �
� Modélisation d’actifs 📈 Monitoring �
� Grafana �
� InfluxDB 💻 Développement �
� Python (FastAPI) �
� Scala ⚙️ DevOps �
� Terraform / Terragrunt �
� GitLab CI/CD 🔁 Orchestration �
� Airflow Compétences requises :

Profil recherché
�
� Minimum 6 ans d’expérience en Data Engineering �
� Expertise confirmée sur AWS et architectures data modernes �
� Solide expérience en Spark / traitement distribué �
� Maîtrise des pipelines temps réel et batch �
� Expérience sur des environnements IoT ou industriels appréciée �
� Forte sensibilité aux problématiques de qualité et observabilité des données ________________________________________ 🤝 Soft skills �
� Esprit analytique et orienté solution �
� Autonomie et rigueur �
� Capacité à travailler dans des environnements complexes �
� Bon relationnel et esprit d’équipe