Data engineer AWS Python Apache Iceberg

Il y a 1 jour

Friauville, Grand Est, France ALTEN Group Temps plein

Gratuit avec email ou Google

Enregistrez cette offre et organisez votre recherche

Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.

Gratuit avec email ou Google

1. Conception et développement de pipelines de données

Postulez ci-dessous après avoir lu tous les détails et les informations complémentaires concernant cette opportunité d'emploi.

Concevoir, développer et maintenir des pipelines ETL/ELT pour collecter, transformer et charger des données massives (batch et streaming).
Utiliser Apache Kafka pour la gestion des flux de données en temps réel.
Implémenter des solutions de stockage optimisé avec Apache Iceberg (tables ACID, time travel, partitionnement).
Automatiser les processus de traitement de données à grande échelle.

2. Intégration et optimisation des données

Travailler avec des formats de données JSON (parsing, validation, transformation).
Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité) sur AWS (Glue, Lambda, EMR, Kinesis).
Mettre en place des mécanismes de qualité des données (data validation, monitoring, alerting).
Intégrer des sources de données hétérogènes (APIs, bases de données, fichiers).
Collaborer avec les équipes DevOps pour déployer et maintenir les solutions data en environnement cloud (AWS).
Participer à la mise en place de tests et de validations pour garantir la qualité des données.
Documenter les processus, les architectures et les bonnes pratiques.
Assurer la sécurité des données (chiffrement, IAM, conformité RGPD).

4. Veille technologique et innovation

Suivre les avancées technologiques en Data Engineering (ex : évolutions d’Apache Iceberg, nouvelles fonctionnalités AWS).
Proposer des solutions innovantes pour améliorer les processus existants (ex : optimisation des coûts, réduction de la latence).
Participer à des ateliers ou formations pour monter en compétences.

Missions internes (expertise & contribution)

Contribuer à la veille technologique et au benchmark des outils et méthodologies.
Participer à l’amélioration des méthodologies internes (ex : templates de pipelines, bonnes pratiques AWS).
Accompagner et coacher des consultants juniors sur les technologies Python, Kafka, Iceberg.
Soutenir les équipes commerciales en amont des réponses aux appels d’offres.

Profil recherché

Formation : Bac+5 en informatique, data science, mathématiques appliquées ou école d’ingénieur.
Expérience : 6 ans minimum en Data Engineering, avec une expertise avérée sur :
- AWS (services data et serverless).
- Python (développement de pipelines, scripts d’automatisation).
- Apache Kafka (conception de topics, producteurs/consommateurs, Kafka Connect).
- Apache Iceberg (création et gestion de tables, optimisation des requêtes).
- JSON (manipulation avancée, schémas, validation).
Compétences techniques :
- Maîtrise des formats de données (JSON, Parquet, Avro).
- Expérience en modélisation de données et en SQL avancé.
- Connaissance des bonnes pratiques DevOps (Docker, Kubernetes, Terraform).
Capacité à travailler en équipe pluridisciplinaire.
Rigueur, curiosité et esprit d’innovation. xuezdbg
Bonne communication technique et pédagogique (en français et anglais courant).