Data Engineer

Il y a 4 heures

Toulouse, Occitanie, France Free-Work Temps plein
Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.
Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur. - Analyser les besoins fonctionnels et contribuer aux choix de conception technique.
- Développer et maintenir des traitements distribués en Java avec Apache Spark.
- Concevoir des pipelines de transformation et d'agrégation de données volumineuses.
- Optimiser les performances des traitements : partitionnement, jointures, gestion de la mémoire et utilisation des ressources.
- Développer les tests et garantir la qualité du code à travers les revues et les bonnes pratiques.
- Participer à l'industrialisation des développements et aux déploiements via les pipelines CI/CD.
- Diagnostiquer les anomalies et contribuer au maintien en conditions opérationnelles des applications.
- Rédiger la documentation technique et collaborer avec les équipes métiers, Data et infrastructure.
ENVIRONNEMENT TECHNIQUE : Java, Apache Spark, Spark SQL, SQL, Git, Maven ou Gradle, CI/CD, Linux. - Vous justifiez d'une expérience confirmée en développement Java et d'une pratique significative d'Apache Spark en production.
- Vous maîtrisez les traitements distribués, les API DataFrame/Dataset et les problématiques de performance liées aux volumes de données.
- Vous êtes à l'aise avec SQL et savez analyser un traitement pour identifier ses points de blocage.
- Vous justifiez d'au moins 3 ans d'expérience sur un contexte similaire.
Cette annonce est ouverte aux personnes en situation de handicap.