Data Engineer
il y a 3 semaines
Développez vos compétences en Data Engineering chez Business & Décision
Nous sommes en recherche d'un Ingénieur des données pour rejoindre notre équipe de Data Engineering
Contexte et objectifs :
Notre plateforme de données centralisée « DATAHUB » est un outil clé pour notre entreprise, permettant de consolider, de fédérer et d'améliorer les ressources de données massives pour divers cas d'utilisation, notamment le reporting, l'analytique et l'apprentissage automatique .
Vous serez chargé de la conception, de la construction et de l'optimisation des pipelines de traitement des données au sein de notre plateforme, en garantissant l'intégration, la transformation et la qualité transparentes des données, tout en migrant l'infrastructure Hadoop vers les environnements cloud.
Responsabilités :
Intégration des données : intégrez des données provenant de plusieurs sources et formats dans la couche brute du DATAHUB.
Modélisation des données et développement de pipelines : Concevez et développez des pipelines de données efficaces pour enrichir et transformer de grands volumes de données avec des règles commerciales complexes et la modélisation des données du lakehouse
Transformation et qualité des données : Mettez en œuvre des processus de transformation des données et de contrôle de la qualité pour garantir la cohérence et l'exactitude des données. Utilisez des langages de programmation tels que Scala et SQL et des outils tels que Spark pour les opérations de transformation et d'enrichissement des données.
Planification avec Airflow : Planifiez des tâches de traitement des données à l'aide d'Airflow.
Tests de validation : Effectuez des tests unitaires et de validation pour garantir l'exactitude et l'intégrité.
Mise en œuvre du pipeline CI/CD : configurez des pipelines CI/CD pour automatiser le déploiement, les tests unitaires et la gestion du développement.
Documentation : Rédiger la documentation technique (spécifications, documents opérationnels) pour assurer la capitalisation des connaissances.
Amélioration du code : modifiez le code existant selon les exigences de l'entreprise et améliorez-le continuellement pour de meilleures performances et une meilleure maintenabilité.
Migration de l'infrastructure : migrez l'infrastructure Hadoop existante vers une infrastructure cloud sur Kubernetes Engine, Object Storage, Spark as a service et Airflow as a service
Optimisation des performances et sécurité : Assurer la performance et la sécurité de l'infrastructure de données et suivre les meilleures pratiques de l'ingénierie des données.
Support de production et maintenance : Contribuer au support de production, à la correction d'incidents et d'anomalies, et mettre en œuvre des évolutions fonctionnelles et techniques pour assurer la stabilité des processus de production.
- Collaboration d'équipe : travaillez en étroite collaboration avec les équipes de données et les équipes commerciales pour comprendre les besoins en matière de données et fournir des solutions sur
Animer l'équipe : Guider, collaborer et déléguer des tâches de développement à des développeurs juniors
Qualifications
Compétences techniques :
Spark, Airflow, Hadoop, Oozie, Kubernetes, COS, Scala, SQL, Dremio, Git, GitLab, Jenkins
Informations complémentaires
Travailler chez Business & Décision, c'est rejoindre un cabinet à taille humaine qui offre à ses collaborateurs des perspectives d'évolution claires et accessibles à travers des parcours de formations spécialement conçus par et pour nos consultants.
Quelques repères :
200 collaborateurs Plus de 250 clients et 1000 missions par an Une entreprise certifiée Top Employeur 2019 Un espace de travail de 2000 m2 fraîchement rénové, au cœur de MontmartreNous accompagnons les entreprises et les institutions en France et à l'international sur leurs problématiques de transformation digitale et data et leurs enjeux métiers.
Nous rejoindre, c'est aussi faire partie d'Orange Business Services SA, une entreprise de services numériques regroupant 7 600 talents en France spécialisés dans de nombreux domaines d'expertises tels que la Cybersécurité, l'IA, le Cloud les Infrastructures IT, l'Internet des Objets, la Data, la Virtualisation, le Fleet Management, les Communications unifiées, l'Audit et le Conseil.
-
**Data Engineer**
il y a 4 semaines
Paris, Île-de-France Numerys Temps pleinWe are looking for a skilled Data Engineer to join our team at "{company}". The ideal candidate will have expertise in designing and developing large-scale data systems. Key responsibilities include:Designing and implementing data pipelinesDeveloping data warehousesEnsuring data quality and integrityOur team values collaboration, innovation, and continuous...
-
Network Infrastructure Engineer
il y a 2 semaines
Paris, Île-de-France NTT DATA Temps pleinAbout the Role We are seeking a highly skilled Network Infrastructure Engineer to join our team at NTT DATA. As a key member of our team, you will be responsible for ensuring the smooth operation and optimization of our clients' application infrastructure and services. Responsibilities: Proactively monitor, identify, investigate, and resolve...
-
Data Engineer en apprentissage
il y a 1 mois
Paris, Île-de-France Iscod Temps pleinFormation professionnelle en Data EngineerL'Iscod propose une formation professionnelle en Data Engineer pour les entreprises spécialisées dans le traitement de données. Ce programme vous permettra de développer des compétences clés tout en préparant l'une de nos formations diplômantes, reconnues par l'État, de niveau 5 à niveau...
-
Data Scientist
il y a 3 semaines
Paris, Île-de-France Canon Temps pleinJoin Our CompanyAs a Data Scientist - AI Engineer at {company}, you will be responsible for developing and deploying artificial intelligence and machine learning models to drive business growth and improve customer experience. Your duties will include designing and implementing data pipelines, training and testing machine learning models, and working with...
-
Senior Data Engineer
il y a 1 mois
Paris, Île-de-France Datadog Temps pleinAbout the Role:The Data Science team at Datadog is seeking a highly skilled Senior Software Engineer to design, build, and scale our backend systems. As a key member of our team, you will work on large-scale distributed systems, horizontally-scalable datastores, and data-processing frameworks to build our next-generation platform and capabilities for Data...
-
Data Engineer
il y a 1 mois
Paris, Île-de-France Descartes Underwriting Temps pleinAbout Descartes UnderwritingDescartes Underwriting is a leading provider of parametric insurance solutions for weather and climate-related risks. We harness the power of machine learning and real-time monitoring from satellite imagery and IoT data to deliver innovative risk management solutions.Your RoleWe are seeking a skilled Data Engineer to join our team...
-
Data Engineer Apprentice
il y a 1 mois
Paris, Île-de-France Faurecia Temps pleinAbout the Data ProgramThe Data Program is the trusted partner for advanced analytics and machine learning solutions. Its mission is to create business value at scale by leveraging data at the core of decision-making across the value chain. The program empowers people to gain valuable insights from data, working in close alignment with business groups,...
-
Senior Cloud Data Engineer
il y a 1 mois
Paris, Île-de-France RED Global Temps pleinWe are seeking a Senior Cloud Data Engineer to join our team at RED Global.Key responsibilities include:Providing technical leadership in the design and implementation of cloud-based data solutionsCollaborating with cross-functional teams to ensure seamless integration with existing systemsDeveloping and maintaining high-quality, scalable, and secure...
-
Senior Data Engineer
il y a 1 mois
Paris, Île-de-France DoubleVerify Temps pleinData Engineers at DoubleVerify play a vital role in ensuring the seamless communication between our product and its partners.The team is responsible for ingesting diverse and volumetric data, managing outbound communications with partners, and using partner APIs cross-referenced with business rules to upload models generated by our product.As a Senior Data...
-
**Cloud Data Engineer**
il y a 4 semaines
Paris, Île-de-France FED ENGINEERING Temps pleinWe are looking for a Cloud Data Engineer to join our Cloud Data Team at {company}. The ideal candidate will have experience with cloud-based data storage and processing, and will be able to design, implement, and maintain scalable and secure data systems.Key responsibilities will include:Designing and implementing cloud-based data architecturesDeveloping and...
-
Senior Data Engineer Consultant
il y a 1 mois
Paris, Île-de-France Delta Consulting Company Temps pleinDelta Consulting Company is seeking a highly skilled Senior Data Engineer Consultant to support one of our clients in the fund industry.The ideal candidate will have at least +5 years of experience as a data engineer with a data-oriented mindset and proven experience in development and maintenance of data pipelines in Palantir Foundry.Key responsibilities...
-
Senior Data Engineer M/F
il y a 1 mois
Paris, Île-de-France Kayrros Temps pleinJob Title: Senior Data Engineer M/FAbout the Role:We are seeking a highly skilled Senior Data Engineer to join our team at Kayrros. As a Senior Data Engineer, you will be responsible for designing, implementing, and operating large-scale imagery and data pipelines on Kubernetes. You will work closely with remote sensing, geospatial, and machine learning...
-
Data Engineer Azure Expert
il y a 4 semaines
Paris, Île-de-France Valoway Temps pleinQui sommes-nous ?Valoway, un leader en Data, IA et Cloud, intervient sur des projets innovants en élaborant et mettant en œuvre des transformations numériques stratégiques.Nos missionsNotre équipe de Data Engineers et Data Architects accompagne nos clients dans leurs enjeux business et leurs recherches de performance grâce à la valorisation de la...
-
Data Engineer GCP
il y a 1 mois
Paris, Île-de-France Apside Temps pleinProfil recherchéL'entreprise Apside recherche un Data Engineer GCP pour rejoindre son équipe.Mis en avantConception et développement de la Data PlatformDéveloppement des services DataDéveloppement d'use cases dataCompétences requisesConnaissance de GCP (BigQuery, Cloud Run, Cloud Build)Connaissance de SQLConnaissance de PythonDevOps (Github)API...
-
Senior Software Engineer
il y a 4 semaines
Paris, Île-de-France emagine Consulting Temps pleinAs a Senior Software Engineer - Data Solutions at {company}, you will be responsible for designing and developing software applications that drive data-driven decision-making. Your expertise in software development and data solutions will enable you to create efficient and scalable systems that meet the needs of our business.Key Responsibilities:Design and...
-
Data Engineer
Il y a 2 mois
Paris, Ile-de-France BAO Temps pleinRejoignez une startup en pleine croissance qui révolutionne le secteur de l’assurance !Startup, basée à Paris avec des équipes réparties entre Paris et Bordeaux, a récemment levé des fonds pour accélérer son développement. Elle crée des produits d’assurance innovants pour des distributeurs comme Alma, et cherche aujourd’hui à structurer ses...
-
Data Engineer
il y a 1 mois
Paris, Ile-de-France Xpollens Temps pleinAu cœur de l'innovation, Xpollens est une Fintech qui démontre au quotidien son savoir-faire bancaire et technologique à travers sa plateforme SAAS de Banking-as-a-Service. Scale-up soutenue par le Groupe BPCE et Visa ce qui lui confère un positionnement unique sur le marché dans la lutte contre la fraude et la sécurisation des transactions....
-
Data Engineer Cloud Expert
il y a 1 mois
Paris, Île-de-France LINCOLN Temps pleinPoste de Data Engineer CloudRejoignez Lincoln, leader dans l'analyse de données, en tant que Data Engineer Cloud. Vous serez chargé de concevoir et mettre en œuvre des architectures de données performantes sur Google Cloud Platform (GCP).Compétences requisesMaîtrise de GCP : BigQuery, Pub/Sub, CloudRun, Cloud FunctionsCompétences techniques : Python,...
-
Data Engineer
il y a 4 semaines
Paris, Île-de-France Size Up Consulting Temps pleinRemplacement - Data EngineerL'entreprise Size Up Consulting recherche un Data Engineer pour rejoindre son équipe de développement. Le candidat idéal sera capable de gérer les infrastructures de données, d'assurer la collecte, le stockage et l'exploitation des flux de données, et d'être garant de l'accès qualitatif des sources de...
-
Data Engineer
il y a 3 semaines
Paris, Île-de-France Doctolib Temps pleinAbout the RoleWe are seeking a highly skilled Data Engineer to join our team and help us transform access to healthcare. As a Data Engineer – Healthcare Insights, you will be responsible for building, maintaining, and evolving data products that provide insights and support decision-making across Doctolib.Main ResponsibilitiesCollaborate with stakeholders...
