Administrateur Big Data Hadoop/kafka/nifi/elastic

il y a 1 semaine


Paris, France SMARTPOINT Temps plein

L'équipe que vous rejoindrez gère un datalake on promise utilisant les technologies Cloudera de 3900 TB, et contribue aux opérations d?un datalake sur Azure (ADLS) et prochainement sur AWS.
**La prestation vise à répondre au besoin suivant**: expertise Bidgata (cloudera hadoop / Kafka / Nifi /Elastic)
**Cela comprend**:
Une expertise avancée en administration Hadoop (Cloudera Data Platform)
Une expertise en Infrastructures Nifi, Kafka
Une expertise en Infrastructures Elastic
**Scheduling**: Airflow
**Monitoring**: Zabbix
**Automatisation**: Python, Ansible & Teraform
**Socle OS**: Redhat Linux
Vous contribuerez aux activités liées à la gestion du Datalake Hadoop Cloudera data platform en participant aux activités suivantes:
Le maintien en conditions opérationnelle du Datalake
Automatisation et amélioration continue en mode Agile de la gestion du Datalake
La sécurisation, les mises à jour, la gestion des vulnérabilités
La gestion des changements en lien avec les utilisateurs du Datalake
Le support à la gestion d?incidents
La gestion prévisionnelle de capacité
Test, qualification et mise en place des nouveaux composants
La documentation et aux procédures d?exploitation
**Vous tiendrez rôle de référent. A ce titre vous serez**:
Le point de contact unique de l?ATM auprès des responsables du département
Coordination et pilotage des ressources de l?ATM
Organisation des points de suivi opérationnels des prestations
**Livrables opérationnels**:
Post-mortem sur les incidents bloquants et majeurs
Revues des performances
Mise en place des nouvelles instances dans le cadre des projets de nos bénéficiaires sur le Cloud interne ou public
Rédaction de livrables liés au périmètre (dossier d'architecture, procédure d?installation, chronogramme d'intervention, préconisations d?amélioration des performances, etc.)
Développement de rôles ansible et de scripts python pour automatiser l'activité
Mise à jour des référentiels techniques et de la documentation d'exploitation du périmètre
Reporting hebdomadaire sur les changements passés et prévus (CRB, PIR)
Compte-rendu détaillé en cas d'incident (post-mortem), de problème ou de changement sur les bases de données du périmètre
**Environnement technique**:
Hadoop (Cloudera Data Platform), Nifi, Kafka
Infrastructures Elastic
Trino / Starburst
Airflow
Zabbix
Python, Ansible & Teraform
Redhat Linux
Contexte anglophone
**Compétences souhaitées**:
**Expertise avérée sur les technologies**:
Hadoop (Cloudera Data Platform), Nifi, Kafka
Infrastructures Elastic
Trino / Starburst
Airflow
Zabbix
Python, Ansible & Teraform
Redhat Linux
Nous recherchons une grande expertise sur les sujets Big Data. Vous devrez avoir une première expérience réussie sur des sujets liés au Datalake, avoir un bon niveau d'anglais (contexte de mission anglophone), et maitriser:
Hadoop (Cloudera Data Platform), Nifi, Kafka
Infrastructures Elastic
Trino / Starburst
Airflow
Zabbix
Python, Ansible & Teraform
Redhat Linux


  • Expert Nifi

    il y a 20 heures


    Paris, France MIND7 Temps plein

    **Maîtrise d?Apache NIFI**: Expérience prouvée dans la configuration, le développement et la gestion des processus NIFI. **Connaissances en ETL**: Compréhension approfondie des processus et capacité à les implémenter dans divers environnements. **Expertise en intégration de systèmes**: Connaissance des différents protocoles d?intégration Vous...

  • Tech Lead Big Data

    il y a 1 semaine


    Paris, France TALENTS RH Temps plein

    **Descriptif de poste**: **Descriptif de poste**: Missions: Ê-tre Référent(e) technique dans le domaine du Big Data, aussi bien vis-à-vis des clients pour lesquels vous intervenez que de l'équipe de réalisation de notre partenaire à laquelle vous appartenez - Participer aux processus d'avant-vente et à l'élaboration des propositions sur le volet...

  • Administrateur Hadoop Cdp

    il y a 1 semaine


    Paris, France OAWJ CONSULTING Temps plein

    Dans le cadre de ses activités, une entreprise basée à Paris recherche un Administrateur Hadoop CDP pour une mission de longue durée. Rôles et responsabilités Administration et maintenance de l?environnement Hadoop CDP (Cloudera Data Platform). Surveillance, optimisation et tuning des clusters Hadoop. Gestion des mises à jour et des montées de...

  • Administrateur Hadoop

    il y a 1 semaine


    Paris, France JEMS Temps plein

    Nous recherchons un Administrateur Hadoop confirmé(e) H/F capable d'assurer le bon fonctionnement de l'infrastructure data de nos clients. **Vous aurez la charge de**: ? Designer et délivrer de nouvelles plateformes Big Data ? Automatiser les tâches via des scripts Shell & Python, Terraform (IAC) ? Réaliser le développement des playbooks avec Gitlab,...

  • Administrateur Hadoop

    il y a 1 semaine


    Paris, France JEMS Group Temps plein

    **A PROPOS DE NOUS**: Nous sommes **le premier industriel de la donnée en Europe**. Notre métier est de **créer, manager et exploiter**le patrimoine data de nos clients. Nous avons la conviction que chaque entreprise peut adopter une** démarche innovante de gestion de la donnée** et créer des** cas d’usage disruptifs**en réduisant l'impact...

  • Tech Lead Big Data

    il y a 2 semaines


    Paris 8e, France CDI au sein d'une grande banque via le cabinet de recrutement GEC Temps plein

    Descriptif du poste **Missions**: Bref, un(e) vrai(e) passionné(e) de tech ! **Concrètement, vous serez amené(e) à**: - Identifier les compétences requises pour mener à bien les projets - Définir l architecture logicielle avec les Product Owners, Business Analysts et Architectes applicatifs - Coder et assurer la qualité du delivery de vos équipes -...

  • Administrateur Hadoop Poei

    il y a 1 semaine


    Paris, France DataScientest Temps plein

    JEMS group vous propose un CDI précédé d'une formation professionnalisante accélérée de 400h, dans le cadre d'une POEI (Préparation Opérationnelle à l'Emploi Individuel), pour que vous soyez pleinement opérationnel et 100% à l'aise dans la mission qui vous sera confiée. **Pour bénéficier du dispositif de la POEI, vous devez être inscrit à...


  • Paris, France DataScientest Temps plein

    **CDI** précédé d'une formation professionnalisante accélérée de **400h**, dans le cadre d'une **POEI **(Préparation Opérationnelle à l'Emploi Individuel), afin de consolider vos compétences et pour que vous soyez pleinement opérationnel dans la mission qui vous sera confiée. **Pour bénéficier du dispositif de la POEI, vous devez être...

  • Big Data

    il y a 4 jours


    Paris, France Blackfluo.ai Temps plein

    About the job Big Data & Cloud Data Engineer Position Overview We are seeking a Big Data & Cloud Data Engineer to design, implement, and manage large-scale data processing systems using big data technologies (Hadoop, Spark, Kafka) and cloud-based data ecosystems (Azure, GCP, AWS), enabling advanced analytics and real-time data processing capabilities across...

  • Administrateur Hadoop Poei

    il y a 1 semaine


    Paris, France DataScientest Temps plein

    JEMS group vous propose un **CDI** précédé d'une formation professionnalisante accélérée de **400h**, dans le cadre d'une **POEI** (Préparation Opérationnelle à l'Emploi Individuel), afin de consolider vos compétences et pour que vous soyez pleinement opérationnel dans la mission qui vous sera confiée par la suite. **Pour bénéficier du...