Data Engineer Databricks
il y a 2 semaines
Vous maîtrisez le métier d'ingénieur données chez Databricks (sur AWS).
**Vos responsabilités seront les suivantes**:
? Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks.
? Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.).
? Mettre en ?uvre et optimiser les processus ETL (Extraction, Transformation, Chargement) afin de garantir une transformation et une intégration efficaces des données.
? Garantir la qualité, l'intégrité et la sécurité des données sur l'ensemble des pipelines.
? Surveiller et résoudre les problèmes de performance des pipelines de données, en mettant en ?uvre les maintenances et mises à jour nécessaires.
? Documenter les processus, les spécifications techniques et les bonnes pratiques des pipelines de données.
? Assurer le transfert de connaissances vers l'équipe d'ingénieurs données qui prendra en charge la gestion de la plateforme à l'avenir.
Parler couramment l'anglais/néerlandais ou l'anglais/français est un impératif.
Nous recherchons un ingénieur data Databricks expérimenté pour rejoindre notre équipe projet et mettre en ?uvre notre plateforme Databricks sur AWS. Vous travaillerez sous la supervision d'un chef de projet et d'un responsable technique / architecte de données.
**Vos responsabilités seront les suivantes**:
? Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks
? Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.)
? Mettre en ?uvre et optimiser les processus ETL (Extraction, Transformation, Chargement) pour garantir une transformation et une intégration efficaces des données.
? Garantir la qualité, l'intégrité et la sécurité des données sur tous les pipelines.
? Surveiller et corriger les performances du pipeline de données, en mettant en ?uvre les maintenances et mises à jour nécessaires.
? Documenter les processus du pipeline de données, les spécifications techniques et les bonnes pratiques.
? Assurer le transfert de connaissances vers l'équipe d'ingénieurs données, qui sera chargée de l'exploitation future de la plateforme.
-
Tech Lead Data Azure
il y a 1 semaine
La Défense, France VISIAN Temps pleinMissions principales: - Conception et développement : Concevoir, développer et maintenir des pipelines ETL/ELT en utilisant PySpark sur Databricks pour traiter de grandes quantités de données. - Leadership technique : Encadrer une équipe de Data Engineers, assurer la qualité du code, la conformité aux bonnes pratiques et participer aux revues de...
-
Lead Data Engineer H/F
il y a 2 semaines
La Défense (), France ADONYS Temps pleinDans le cadre d'une régie pour un acteur juridique, nous sommes à la recherche d'un Lead Data Engineer H/FVos missions:Conception et Développement des Pipelines de DonnéesInfrastructure et AutomatisationModélisation et Architecture des DonnéesGouvernance et PerformanceDocumentation et CollaborationEnvironnement technique:Cloud: Profonde connaissance...
-
Data Analyst
il y a 2 semaines
La Défense, France Framatome Temps plein**Description du poste**: **Métier**: IS - INFORMATION SYSTEMS - IS4 - Management de Projet IS/IT **Intitulé du poste**: Data Analyst / Data Engineer F/H **Contrat**: CDI **Fourchette de rémunération**: de 45 à 60 K€ **Description de la BU**: La Business Unit Projets & Composants de Framatome: Référence mondiale dans la gestion de projets et la...
-
Data Engineer H/F
il y a 4 semaines
La Chevrolière, France Armor Group Temps pleinAu sein de l'équipe Informatique Industrielle du Groupe, votre mission consiste à piloter, concevoir et maintenir les systèmes de données industrielles du Pôle Industriel France et de ses 15 filiales de production à l'international fonctionnant en 24/7. A cet effet, vous êtes en charge de : - Construire et piloter la stratégie d'exploitation des...
-
Data Engineer Gen Ia
il y a 1 semaine
La Défense, France VISIAN Temps pleinExpertise technique GenAI ? Développer les briques techniques nécessaires à l?exécution des agents GenIA (API, orchestrateurs, connecteurs, sécurité, monitoring, vectorisation?). ? Garantir la robustesse, la scalabilité et la maintenabilité des composants sur Databricks. ? Déployer les composants techniques en collaboration avec l?équipe...
-
Architecte Data
il y a 1 jour
La Défense, France ScaleSquad Temps pleinScalesquad est une ESN, filiale du groupe Neurones IT de plus de 800 collaborateurs autour des métiers du digital et de l’IT. Forts de 800 collaborateurs et partenaires en prestation, d'un portefeuille de plus de 250 clients, nous nous appuyons sur une expérience de plus de 30 ans de projets réussis. Nous avons pour ambition de devenir le 1er...
-
Tech Lead Data
il y a 2 semaines
La Défense, France VISIAN Temps pleinL'ingénieur Data / Tech Lead sera impliqué dans le développement de la plateforme du client, les spécifications techniques, les phases de tests unitaires et d'intégration, et les déploiements de la chaîne CI/CD. Les principales activités du Tech Lead recherché sont les suivantes: ? Support de l'équipe de développement ? Amélioration continue de...
-
Lead Data Analytics Engineer F/H
il y a 2 semaines
La Défense, Île-de-, France iCom by KPMG Temps pleinVos ChallengesVos missions, en tant que Lead Data Analytics Engineer F/H sont :Dans le cadre de votre mission, vous interviendrez auprès de multiples clients pour concevoir, implémenter et déployer des solutions data solides et évolutives.Votre RôleApporter une expertise approfondie en stratégies et architectures de données.Contribuer à l'orientation...
-
Cloud Data Engineer
il y a 1 jour
La Garenne-Colombes, France VINCI Temps pleinEn tant que Cloud Data Engineer, vous aurez pour mission d’accompagner nos clients grands comptes dans leurs transformation digitale par la mise en place de projets. Votre mission portera sur des tâches parmi les suivantes: Analyser les besoins clients Animer des ateliers afin d’étudier et cadrer les besoins clients Préconiser les solutions et...
-
Tech Lead Data
il y a 5 jours
Rue de la Victoire, Paris, France Daveo Temps pleinEn tant qu'expert.e Databricks, vous serez en charge de :Conception et architecture Piloter et définir les architectures data autour de Databricks, en intégrant les derniers standards du Data Engineering et des architectures modernes (Lakehouse, Data Mesh…).Développement et optimisation Réaliser et industrialiser les pipelines de données en batch et...