Data Engineer

Il y a 12 heures

Paris, Nouvelle-Aquitaine, France Onyx-Conseil Temps plein

Résumé

Le poste de Data Engineer est axé sur le développement et la maintenance de l'infrastructure Big Data , avec un accent sur l'expertise Hadoop pour assurer la gestion, l'optimisation et la disponibilité de la plateforme Hadoop.

Responsabilités

  • Participer aux task forces pour résoudre des problématiques techniques complexes.

  • Évoluer l'infrastructure et déployer de nouvelles fonctionnalités à forte valeur ajoutée.

  • Gérer les montées de versions majeures des composants Hadoop.

  • Mettre en place et maintenir la documentation technique destinée aux entités internes et utilisateurs.

  • Gérer la collaboration avec l’éditeur Cloudera et les entités internes.

  • Suivre le planning global de production.

Must Haves

  • Expertise en Ansible.

  • Expérience avec Apache NiFi.

  • Compétence en Hadoop (Big Data).

  • Maîtrise de Kafka.

  • Connaissances en Scripting (GitHub, Ansible, AWX, shell, VBA).

  • Compétence en Spark.

Nice to Have

  • Certifications Cloud spécifiques (par exemple, Cloudera Certified Professional).

  • Connaissances en Terraform et Terragrunt.

Autres Détails

  • Catégorie: Environnement technique.

  • Détails: Ingestion avec Kafka et Nifi, moteur : CDP 7.1.9, automatisation avec Ansible.

  • Livrables attendus : installation et maintenance des clusters Hadoop, sécurité et performances de la plateforme.

  • Type de prestation : Data Engineering Level 8.4.

#J-18808-Ljbffr