Data Engineerpython Spark

il y a 3 jours

Paris, France WorldWide People Temps plein

Data Engineer Python Spark - Confirmé client Banque basé à Paris Gare de Lyon, un Data Engineer - Confirmé avec un minimum de 4 ans d?expériences.
Localisation Paris 12e/ Télétravail
**Durée de la mission**: 2 ans
**Projet**:
Contribuer à la Fabrication des Produits des équipes dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data)
Contribuer à la fabrication d'un entrepôt de données interne dans un environnement Python - PostGresql
Etre force de proposition et expertise sur les techno manipulées
**Principaux livrables**:
Développer les cas d'usages Data
Participer à la définition de l'architecture Data (en lien avec les architectes et les équipes)
Mettre en ?uvre les tests unitaires et automatisés
Déployer le produit dans les différents environnements
Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents
Accompagner l?évolution des pratiques de l?équipe dans une logique d?amélioration continue de la qualité du code
**Compétences requises**:
Python (requis),
Spark - spark streaming et batch (requis),
Kafka (apprécié)
Stack Hadoop Cloudera
**Base de données**: (type Hdfs, Hive, Hbase, Phoenix, MongoDB)
**DEVOPS**: GIT, Jenkins, Artifactory, XL Release, ELK, Grafana
Scrum (cadre agile entreprise)
Autonomie, Adaptabilité, Bonne communication (lien direct avec les PO ou DEV),
**Apprécié - activités BI**:
BDD Teradata,
xDI,
SQL
**Data viz**: Microstrategy
Python (requis),
Spark - spark streaming et batch (requis),
Kafka (apprécié)
Stack Hadoop Cloudera
**Base de données**: (type Hdfs, Hive, Hbase, Phoenix, MongoDB)
**DEVOPS**: GIT, Jenkins, Artifactory, XL Release, ELK, Grafana
Scrum (cadre agile entreprise)
Autonomie, Adaptabilité, Bonne communication (lien direct avec les PO ou DEV),
**Apprécié - activités BI**:
BDD Teradata,
xDI,
SQL
**Data viz**: Microstrategy

  • Data Engineer Spark

    il y a 3 jours

    Paris, France UCASE CONSULTING Temps plein

    Bonjour, Pour le compte de notre client nous recherchons un data engineer spark / python / databricks / azure. Attentes: - Spark/Python (API dataframe, dataset, rdd) + Librairie ScalaTest - Expérience Azure, incluant les composants Azure : ADLS, DataBricks, Azure Data Factory, Azure), DevOps (terraform, docker, kubernetes), Azure Functions, KeyVault -...

  • Data Engineer — AWS

    Il y a 5 minutes

    Paris, France Kolab Temps plein

    Une entreprise innovante en IT recherche un Data Engineer pour concevoir et maintenir des pipelines de données sur AWS. Vous travaillerez avec des traitements volumineux via Apache Spark, en collaboration avec diverses équipes. Le poste nécessite une formation Bac+4/5 en Data ou Big Data, ainsi qu'une expérience en environnement cloud. L'anglais...

  • Data Engineering

    il y a 3 jours

    Paris, France Digistrat consulting Temps plein

    ? Contexte /Objectifs: L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et...

  • Data Engineer Senior Scala

    Il y a 26 minutes

    Paris, France SILAMIND | Microsoft Partner Temps plein

    Localisation Île-de-France (Nord) Télétravail possible jusqu’à 3 jours par semaine Déplacements ponctuels possibles en région Contexte du poste Dans le cadre du renforcement d’une Data Factory au sein d’une grande organisation française, nous recherchons un Data Engineer Senior maîtrisant la chaîne Data analytique de bout en bout. Vous...

  • Team Lead Paid Media SEA

    il y a 2 semaines

    Paris, France Spark Temps plein

    Travailler chez spark Depuis 2019, Spark a constitué une équipe de +40 experts en acquisition digitale et en data. En tant que Team lead paid media (SEA / social ads), tes objectifs principaux seront d'encadrer une équipe de consultants paid en veillant à leur bien-être et à leur développement pro, tout en développant le chiffre d'affaires porté par...

  • Real-Time Data Engineer: Spark on Kubernetes

    Il y a 11 minutes

    Paris, France Sekoia SAS Temps plein

    A leading technology firm in Paris is seeking an experienced Data Engineer to enhance their Data team. The ideal candidate will lead efforts in implementing a Spark environment to handle massive real-time data streams. With a focus on autonomy and innovation, you will centralize data from various sources, develop pipelines, and ensure the system's resilience...

  • Data Engineer Spark

    il y a 2 semaines

    Paris, France UCASE CONSULTING Temps plein

    Je recherche pour l?un de mes clients dans le domaine Banque/Assurance un Data Engineer. Contexte: En tant que Data Engineer vous participerez à la continuité du déploiement de notre architecture BigData: Missions: - Maintenir le code existant - Concevoir et développer de nouvelles fonctions - Mettre en place des pipelines de données. - Metttre en...

  • Data Engineer

    il y a 2 semaines

    Paris, France DCS GROUP Temps plein

    Nous recherchons un **Data Engineer (H/F)** expérimenté pour rejoindre notre équipe en pleine expansion. Vous serez responsable de la conception, de l'optimisation et de la gestion des pipelines de données dans un environnement Big Data complexe. Vous travaillerez avec une large gamme de technologies, notamment **Spark**, **Kafka**, et la stack **Hadoop...

  • Real-Time Data Engineer: Spark on Kubernetes

    Il y a 26 minutes

    Paris, France Sekoia.io Temps plein

    A technology firm in Paris is looking for an experienced Data Engineer to enhance their Data team. The ideal candidate will work on transitioning to massive real-time data processing, contributing to the implementation of the Spark environment on Kubernetes, and should have strong programming skills in Python and familiarity with orchestrating data...

  • Data Engineer

    il y a 2 semaines

    Paris, France DCS EASYWARE Temps plein

    Publiée le 05/09/2024 Venez rejoindre une équipe dynamique ! **Mission**: Nous recherchons un **Data Engineer (H/F)** expérimenté pour rejoindre notre équipe en pleine expansion. Vous serez responsable de la conception, de l'optimisation et de la gestion des pipelines de données dans un environnement Big Data complexe. Vous travaillerez avec une...