DataOps Hadoop

il y a 1 mois

Paris, Île-de-France KLETA Temps plein
  1. Architecture et Conception :
  2. Concevoir, mettre en œuvre et maintenir l'architecture Hadoop en fonction des besoins de l'entreprise.
  3. Élaborer des plans d'expansion et d'évolution pour les clusters Hadoop.
  4. Collaborer avec les équipes de développement et d'infrastructure pour concevoir des solutions adaptées aux besoins spécifiques du projet.
  5. Installation et Configuration :
  6. Installer, configurer et déployer les clusters Hadoop en utilisant les meilleures pratiques.
  7. Gérer les configurations, les mises à jour et les correctifs des composants Hadoop.
  8. Surveillance et Optimisation :
  9. Surveiller les performances du cluster Hadoop et identifier les goulots d'étranglement.
  10. Optimiser les performances en ajustant la configuration, en mettant à l'échelle le matériel ou en optimisant les requêtes.
  11. Mettre en place des outils de surveillance et des alertes pour détecter les problèmes potentiels.
  12. Sécurité :
  13. Mettre en œuvre et maintenir des stratégies de sécurité robustes pour le cluster Hadoop.
  14. Gérer l'accès aux données sensibles et aux ressources du cluster en utilisant des technologies telles que Kerberos, LDAP, etc.
  15. Effectuer des audits de sécurité réguliers et remédier aux vulnérabilités identifiées.
  16. Gestion des Données :
  17. Concevoir et mettre en œuvre des pipelines de données pour l'ingestion, le traitement et la distribution des données.
  18. Assurer la qualité des données en mettant en place des processus de nettoyage, de normalisation et de validation des données.
  19. Intégrer et gérer différents types de données, y compris les données structurées, semi-structurées et non structurées.
  20. Automatisation et Orchestration :
  21. Automatiser les tâches courantes telles que la sauvegarde, la récupération, la gestion des ressources, etc.
  22. Mettre en place des workflows d'orchestration pour coordonner les tâches complexes entre les différents composants du cluster Hadoop.
  23. Développement et Support :
  24. Fournir un support technique aux équipes de développement et d'analyse des données.
  25. Développer des outils et des scripts personnalisés pour faciliter l'administration et la gestion du cluster Hadoop.
  26. Collaborer avec les équipes de développement pour optimiser les applications et les requêtes pour le cluster Hadoop.
  27. Formation et Documentation :
  28. Former les membres de l'équipe sur l'utilisation et la gestion du cluster Hadoop.
  29. Documenter les processus, les configurations et les bonnes pratiques pour faciliter la collaboration et le transfert de connaissances.
  30. Veille Technologique :
  31. Suivre les tendances et les avancées technologiques dans le domaine du Big Data et de l'analyse de données.
  32. Évaluer de nouvelles technologies et proposer des solutions innovantes pour améliorer l'efficacité et les performances du cluster Hadoop.

  • Senior Data Engineer H/F

    il y a 1 jour

    PARIS, 75000, Ile-de-France Publicis Groupe Temps plein

    A propos d'EPSILON FranceEPSILON France est l'entité Datamarketing de Publicis Groupe avec 650 experts data, marketing et technologiques et plus de 40 métiers représentés. Avec pour claim « Every Interaction Counts », la mission d'EPSILON est de conjuguer les pouvoirs de la data, du marketing et de la technologie pour rendre les...

  • DataOps Hadoop

    il y a 1 mois

    Paris, France KLETA Travail à distance Freelance Temps plein

    Architecture et Conception :Concevoir, mettre en œuvre et maintenir l'architecture Hadoop en fonction des besoins de l'entreprise.Élaborer des plans d'expansion et d'évolution pour les clusters Hadoop.Collaborer avec les équipes de développement et d'infrastructure pour concevoir des solutions adaptées aux besoins spécifiques...

  • Consultant Confirmé/Senior Data Engineer

    Il y a 2 mois

    Paris, France Nexialog Temps plein

    DescriptionFondé en 2006, Nexialog Consulting est devenu l’un des acteurs majeurs du conseil spécialisé en banque et en assurance, et emploie aujourd’hui 160 collaborateurs dans nos bureaux parisiens.Nexialog Consulting accompagne ses clients à travers six lignes métiers :Actuariat ConseilRisk Management & BankGlobal MarketsContrôle, Finance &...

  • Data Scientist

    il y a 1 mois

    Paris 4e, France Digital Partners Temps plein

    Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l’ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre du développement de notre activité nous...

  • Data Engineer H/F

    il y a 20 heures

    PARIS, France Margo Temps plein

    Aujourd'hui, Margo Analytics possède 4 communautés de compétences :- Data engineer- Data Science/ IA- Galaxy OPS (DEVOPS, dataOps, cloudOps)- Architecte Big DataAinsi en rejoignant Margo Analytics vous aurez le choix des missions (#consultantfirst) sur lesquelles vous souhaitez travailler. Vous serez accompagné par les deux fondateurs ainsi que par...

  • Data Engineer Spark Scala

    il y a 1 mois

    Paris, France Sopra Steria Temps plein

    **Company Description** Sopra Steria**, acteur majeur de la Tech en Europe, reconnu pour ses activités de conseil, de services numériques et d’édition de logiciels, aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Il apporte une réponse globale aux enjeux de compétitivité des grandes...

  • Data Engineer

    il y a 1 mois

    Paris, France Sopra Steria Temps plein

    **Description de l'entreprise** Sopra Steria**, acteur majeur de la Tech en Europe, reconnu pour ses activités de conseil, de services numériques et d’édition de logiciels, aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Il apporte une réponse globale aux enjeux de compétitivité des grandes...

  • Senior Data Engineer

    il y a 1 mois

    Paris 11e, France Epsilon France Temps plein

    Description de l'entreprise **A propos d’EPSILON France** EPSILON France est l’entité Datamarketing de Publicis Groupe avec 700 experts data, marketing et technologiques et plus de 40 métiers représentés. Avec pour claim « Every Interaction Counts », la mission d’EPSILON est de conjuguer les pouvoirs de la data, du marketing et de la technologie...

  • Consultant Confirmé/Senior Data Assurance

    Il y a 2 mois

    Paris, France Nexialog Temps plein

    DescriptionFondé en 2006, Nexialog Consulting est devenu l’un des acteurs majeurs du conseil spécialisé en banque et en assurance, et emploie aujourd’hui 160 collaborateurs dans nos bureaux parisiens.Nexialog Consulting accompagne ses clients à travers six lignes métiers :Actuariat ConseilRisk Management & BankGlobal MarketsContrôle, Finance &...

  • Senior Data Engineer

    il y a 4 jours

    Paris, France Epsilon France Temps plein

    Description du posteDans le cadre du développement de notre pôle Data & Analytics Platform (cadrage fonctionnel et technique, définition de use-cases, stratégie des moyens, accompagnement du changement, mise en œuvre, maintenance et commercialisation de solutions), nous recherchons un(e) Consultant Sénior Data Engineer qui aura pour...

  • Senior Data Engineer

    il y a 4 jours

    Paris, France Epsilon France Temps plein

    Description de l'entreprise A propos d’EPSILON France EPSILON France est l’entité Datamarketing de Publicis Groupe avec 650 experts data, marketing et technologiques et plus de 40 métiers représentés. Avec pour claim « Every Interaction Counts », la mission d’EPSILON est de conjuguer les pouvoirs de la data, du marketing et de la...