Data Engineer
Il y a 4 heures
Toulouse, Occitanie, France
Free-Work
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.
Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur. - Analyser les besoins fonctionnels et contribuer aux choix de conception technique.
- Développer et maintenir des traitements distribués en Java avec Apache Spark.
- Concevoir des pipelines de transformation et d'agrégation de données volumineuses.
- Optimiser les performances des traitements : partitionnement, jointures, gestion de la mémoire et utilisation des ressources.
- Développer les tests et garantir la qualité du code à travers les revues et les bonnes pratiques.
- Participer à l'industrialisation des développements et aux déploiements via les pipelines CI/CD.
- Diagnostiquer les anomalies et contribuer au maintien en conditions opérationnelles des applications.
- Rédiger la documentation technique et collaborer avec les équipes métiers, Data et infrastructure.
ENVIRONNEMENT TECHNIQUE : Java, Apache Spark, Spark SQL, SQL, Git, Maven ou Gradle, CI/CD, Linux. - Vous justifiez d'une expérience confirmée en développement Java et d'une pratique significative d'Apache Spark en production.
- Vous maîtrisez les traitements distribués, les API DataFrame/Dataset et les problématiques de performance liées aux volumes de données.
- Vous êtes à l'aise avec SQL et savez analyser un traitement pour identifier ses points de blocage.
- Vous justifiez d'au moins 3 ans d'expérience sur un contexte similaire.
Cette annonce est ouverte aux personnes en situation de handicap.
Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur. - Analyser les besoins fonctionnels et contribuer aux choix de conception technique.
- Développer et maintenir des traitements distribués en Java avec Apache Spark.
- Concevoir des pipelines de transformation et d'agrégation de données volumineuses.
- Optimiser les performances des traitements : partitionnement, jointures, gestion de la mémoire et utilisation des ressources.
- Développer les tests et garantir la qualité du code à travers les revues et les bonnes pratiques.
- Participer à l'industrialisation des développements et aux déploiements via les pipelines CI/CD.
- Diagnostiquer les anomalies et contribuer au maintien en conditions opérationnelles des applications.
- Rédiger la documentation technique et collaborer avec les équipes métiers, Data et infrastructure.
ENVIRONNEMENT TECHNIQUE : Java, Apache Spark, Spark SQL, SQL, Git, Maven ou Gradle, CI/CD, Linux. - Vous justifiez d'une expérience confirmée en développement Java et d'une pratique significative d'Apache Spark en production.
- Vous maîtrisez les traitements distribués, les API DataFrame/Dataset et les problématiques de performance liées aux volumes de données.
- Vous êtes à l'aise avec SQL et savez analyser un traitement pour identifier ses points de blocage.
- Vous justifiez d'au moins 3 ans d'expérience sur un contexte similaire.
Cette annonce est ouverte aux personnes en situation de handicap.