Expert Big Data

il y a 2 jours

Courbevoie, France Expert Line Conseil Temps plein

Pour un acteur du secteur Energie, je suis à la recherche d'un consultant senior BIG DATA / CLOUDERA
**Missions principales**:
Mise en place de la roadmap technique pour la plateforme
Orientations techniques stratégiques
Veille technologique
**Orchestration des chantiers techniques transverses. Exemple**: Migration de la version de l?OS
**Description de l?activité**:
Gestion des montées de versions
Expertise en infrastructures Big Data sur la distribution Cloudera 7.1.7
Directives d?administration d?un cluster Cloudera de taille supérieure à 60 n?uds.
Plan de montée de version et de déploiement de patchs.
Mise en place de stratégies d?allocations de ressources dans Yarn et dimensionnement des queues
Capacité à diagnostiquer et résoudre les problèmes techniques complexes liés aux clusters Cloudera.
Fourniture d'un support avancé aux équipes d'exploitation et d?administration
Apport d'expertise lors de la résolution des crises de production
Expertise en scalabilité du cluster
Mise à jour du capacity planning du cluster
Anticipation de la montée en charge sur les composants principaux (Impala, hbase, yarn ?)
Définitions des stratégies d?ajout de n?uds et anticipation des potentielles problématiques qu?ils peuvent engendrer
Dimensionnement des différents environnements
Sécurisation des composants logiciels Big Data
Revue des directives de cybersécurité sur les composants logiciels sur tous les environnements hors espaces produits
Définition des gestes à effectuer pour faire évoluer les normes de sécurité des composants logiciels.
Conception des outils pour le suivi de la sécurité des composants logiciels.
Robustesse du cluster
**Découverte des problématiques à lever en pro action (exemple**: hausse critique du nombre de petits fichiers)
Injection de la supervision by design dans les chaines d?ingestion
Support technique du PM/RTE et des utilisateurs
Support du PM lors des cadrages et poser les architectures/ directives techniques.
Support du RTE lors de la coordination des équipes sur des problématiques techniques.
Support technique des utilisateurs de la plateforme pour l?utilisation de l?outillage ou l?optimisation de leurs traitements.
Formalisation et diffusion de préconisations technique
Audit technique du code pour veiller à la mise en place de bonnes pratiques
Outillage
Concevoir l?outillage Self-Service de la data plateforme.
Conception et optimisation des composants d?ingestions
Veille technologique pour proposer des solutions innovantes aux problématiques
Leadership auprès des équipes de B4all
Relation Editeur
Interlocuteurs privilégiés avec le support de l?éditeur (helpdesk) sur les différents dossiers de supports
Suivi et mise en place des préconisations éditeur sur les versions déployées
Demandes de hotfix
Profil ayant minimum 8 ans d'expérience, capacité à être un leader technique (pas d'équipe à gérer)
**Liste exhaustive de l'environnement technique**:
Linux Redhat 7 / 8
Maitrise d?HADOOP Cloudera (V7.1.7) (CDP)
HDFS
SPARK
HBASE
HIVE
Impala
Ranger
Atlas
Knox
Spark
Phoenix
Yarn
Langages
Java
Scala
Python
Ansible
Ksh
**Satellites**:
Kafka
Grafana
Gitlab
Jenkins
Active Directory
**Formats de données**: JSON, Protobuf, Parquet, AVRO, XML (XSD),
**Architecture**:
Chaines d?ingestion en temps réel
Chaines d?ingestion en batch
**Cloud**: AWS

  • Stage Data Quality

    il y a 4 jours

    Courbevoie, France SG Temps plein

    Une banque internationale basée à Courbevoie recherche un stagiaire chargé de développement big data et data visualisation. Vous intégrerez l’équipe DFIN pour contribuer à la certification et l'analyse des données de liquidité. Missions incluent la compréhension des exigences réglementaires, l'automatisation de processus et le suivi de KPI. Vous...

  • Expert Data Architect H/F

    il y a 1 semaine

    Courbevoie, France Kpmg Temps plein

    Vos missions, en tant que Expert Data Architect F/H sont : Dans le cadre de votre mission, vous interviendrez auprès de multiples clients pour concevoir, implémenter et déployer des solutions data solides et évolutives. Votre rôle : -Apporter une expertise approfondie en stratégies et architectures de données. -Contribuer à l'orientation...

  • Tech Lead Senior

    il y a 4 semaines

    Courbevoie, France Worldgrid Temps plein

    Pourquoi nous rejoindre ? Worldgrid, est un acteur majeur de la transition énergétique. Nous sommes à l’avant-garde des défis technologiques et nous cherchons constamment à progresser pour construire des systèmes énergétiques durables, propres et résilients. Dans le domaine de l'énergie, en optimisant les interventions, en maîtrisant les...

  • Data Cloud Architect

    il y a 2 semaines

    Courbevoie, France EMGS CONSULTING Temps plein

    Objectifs et livrablesConcevoir et proposer des solutions Data basées sur Azure Cloud, en accord avec le framework Concevoir et proposer des solutions sur Snowflake Appliquer la stratégie Data as a Service en respectant les meilleures pratiques architecturales Développer des APIs et microservices pour enrichir notre écosystème de solutions Soutenir la...

  • Alternance Data Engineers

    il y a 2 semaines

    Courbevoie, France Iscod Temps plein

    Description : L'ISCOD, spécialiste de la formation en Digital Learning, recherche pour son entreprise partenaire, éditeur de logiciels, un(e) Data Engineers en contrat d'apprentissage, pour préparer l'une de nos formations diplômantes reconnues par l'Etat de niveau 5 à niveau 7 (Bac +2, Bachelor/Bac +3 ou Mastère/Bac +5). Choisissez l'alternance...

  • Data Lab Architect, Aws Data Lab

    il y a 7 jours

    Courbevoie, France AWS EMEA SARL (France Branch) Temps plein

    Highly technical and analytical, possessing seven or more years of Machine Learning and/or Analytics Systems development and deployment experience, IT systems and engineering experience, security and compliance experience, etc. - Possess significant experience of software development and/or IT and implementation/consulting experience. - Strong verbal and...

  • Data Manager/business Analyst

    il y a 5 jours

    Courbevoie, France Expert & Manager Temps plein

    PARIS 01 41 40 20 20 Expert & Manager recherche pour son client un Data Manager/Business Analyst H/F dans le cadre d'un recrutement en CDI basé à Courbevoie (92) Description du poste: Rattaché au Directeur de Projet MOA & Digital, vous êtes le garant de la fiabilité des données de notre ERP puis du futur CRM. A ce titre vous êtes en charge, entre...

  • Data Engineer

    il y a 1 semaine

    Courbevoie, France TRSB Temps plein

    Il est garant de l?accès qualitatif aux sources de données. Il s?assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d?en faciliter l?exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la...

  • Data Analyste/Data Quality

    il y a 4 jours

    Courbevoie, France Societe Generale Temps plein

    Vos missions au quotidienVous savez « faire parler » les données pour créer de la valeur ? Vous souhaitez travailler en mode agile ? Rejoignez-nous !Référence 24000T94En tant que stagiaire chargé de développement big data et data visualisation, vous intégrerez l’équipe DFIN/EMR/DQP (Direction FINancière, Expertise on Metric and Reports, Data...

  • Expert en Stratégie DATA

    il y a 5 jours

    Courbevoie, Île-de-France Sopra Steria Temps plein

    Description de l'entreprise Sopra Steria Next est la marque de conseil en transformation digitale du Groupe Sopra Steria. Ses 3 400 consultants en Europe conçoivent des stratégies visionnaires, réellement actionnables et s'engagent sur des résultats tangibles pour les entreprises, leurs collaborateurs et leurs clients.Sopra Steria Next fait partie du...