Data Engineer Spark Scala

**Conception et développement de pipelines de données**: Concevoir et développer des pipelines de données robustes et évolutifs utilisant Apache Spark et d?autres outils Big Data. Intégrer et transformer des données en temps réel ou en batch à partir de sources variées (bases de données, APIs, fichiers plats, etc.). Implémenter des solutions de...

Vous travaillerez en tant que data engineer sur l?environnement technique suivant: - Spark - Scala Les plus : Kafka, avoir travaillé dans un environnement cloud Vous vous différencierez également par vos qualités humaines, votre savoir-être Le processus de sélection comprend un entretien avec un responsable Datapy, un entretien avec notre client...

Introductionemagine recherche un Data engineer pour l'un de ces clients finaux dont le rôle sera de concevoir et implémenter des pipelines d'ingestion de données tout en garantissant la performance et la scalabilité des processus de données.Durée : 36 mois maximumPrestation en freelance à temps plein en mode hybride (2 jours par...

Localisation Île-de-France (Nord) Télétravail possible jusqu’à 3 jours par semaine Déplacements ponctuels possibles en région Contexte du poste Dans le cadre du renforcement d’une Data Factory au sein d’une grande organisation française, nous recherchons un Data Engineer Senior maîtrisant la chaîne Data analytique de bout en bout. Vous...

Notre client bancaire recherche un consultant Data engineer - GCP BigQuery Spark Scala (H/F) pour renforcer l'équipe au sein de laquelle preste déjà un consultant de NEXORIS. Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données. Tâches et...

Choisir Capgemini, c'est choisir une entreprise où vous serez en mesure de façonner votre carrière selon vos aspirations. Avec le soutien et l'inspiration d'une communauté d’experts dans le monde entier, vous pourrez réécrire votre futur. Rejoignez-nous pour redéfinir les limites de ce qui est possible, contribuer à libérer la valeur de la...

**Dans ce cadre, la mission consiste à contribuer à/au(x)**: L?architecture avec le reste de l?entité (tech lead, devs, architecture). Mise en ?uvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. **Les...

Vos missions En tant que Data Engineer , vos missions seront les suivantes : Analyser, comprendre et cadrer une architecture permettant de répondre aux besoins métiers des clients Concevoir et mettre en place des plateformes Data en tenant compte des contraintes tant techniques que fonctionnelles Intervenir sur la conception et le déploiement...

Bonjour ?,Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure.Missions principales :Participer au développement des User Stories (US) et réalisation des tests associés.Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d?exploitation.Mettre...

Contexte & Objectifs Au sein du service Gouvernance, Administration et Monitoring de la DSI Finance, la mission vise à développer et optimiser une brique applicative de monitoring des flux et traitements de données, en lien avec le programme GASPARD. L?objectif est d?assurer la qualité de service et le respect des délais de mise à disposition des...