Ingénieur de données
il y a 4 semaines
Description du poste
En tant qu'Ingénieur de données, vous serez chargé de concevoir et de développer des pipelines de données efficaces pour enrichir et transformer de grands volumes de données avec des règles commerciales complexes.
Responsabilités
Intégration des données : intégrez des données provenant de plusieurs sources et formats dans la couche brute du DATAHUB.
Modélisation des données et développement de pipelines : Concevez et développez des pipelines de données efficaces pour enrichir et transformer de grands volumes de données avec des règles commerciales complexes et la modélisation des données du lakehouse.
Transformation et qualité des données : Mettez en œuvre des processus de transformation des données et de contrôle de la qualité pour garantir la cohérence et l'exactitude des données. Utilisez des langages de programmation tels que Scala et SQL et des outils tels que Spark pour les opérations de transformation et d'enrichissement des données.
Planification avec Airflow : Planifiez des tâches de traitement des données à l'aide d'Airflow.
Tests de validation : Effectuez des tests unitaires et de validation pour garantir l'exactitude et l'intégrité.
Mise en œuvre du pipeline CI/CD : configurez des pipelines CI/CD pour automatiser le déploiement, les tests unitaires et la gestion du développement.
Documentation : Rédiger la documentation technique (spécifications, documents opérationnels) pour assurer la capitalisation des connaissances.
Amélioration du code : modifiez le code existant selon les exigences de l'entreprise et améliorez-le continuellement pour de meilleures performances et une meilleure maintenabilité.
Migration de l'infrastructure : migrez l'infrastructure Hadoop existante vers une infrastructure cloud sur Kubernetes Engine, Object Storage, Spark as a service et Airflow as a service.
Optimisation des performances et sécurité : Assurer la performance et la sécurité de l'infrastructure de données et suivre les meilleures pratiques de l'ingénierie des données.
Support de production et maintenance : Contribuer au support de production, à la correction d'incidents et d'anomalies, et mettre en œuvre des évolutions fonctionnelles et techniques pour assurer la stabilité des processus de production.
Collaboration d'équipe : travaillez en étroite collaboration avec les équipes de données et les équipes commerciales pour comprendre les besoins en matière de données et fournir des solutions.
Animer l'équipe : Guider, collaborer et déléguer des tâches de développement à des développeurs juniors.
Qualifications
Compétences techniques :
Spark, Airflow, Hadoop, Oozie, Kubernetes, COS, Scala, SQL, Dremio, Git, GitLab, Jenkins
Informations complémentaires
Travailler chez Business & Decision, c'est rejoindre un cabinet à taille humaine qui offre à ses collaborateurs des perspectives d'évolution claires et accessibles à travers des parcours de formations spécialement conçus par et pour nos consultants.
Quelques repères :
- 200 collaborateurs
- Plus de 250 clients et 1000 missions par an
- Une entreprise certifiée Top Employeur 2019
- Un espace de travail de 2000 m2 fraîchement rénové, au cœur de Montmartre
Nous accompagnons les entreprises et les institutions en France et à l'international sur leurs problématiques de transformation digitale et data et leurs enjeux métiers.
Nous rejoindre, c'est aussi faire partie d'Orange Business Services SA, une entreprise de services numériques regroupant 7 600 talents en France spécialisés dans de nombreux domaines d'expertises tels que la Cybersécurité, l'IA, le Cloud les Infrastructures IT, l'Internet des Objets, la Data, la Virtualisation, le Fleet Management, les Communications unifiées, l'Audit et le Conseil.
-
Ingénieur en Données
il y a 3 semaines
Paris, Île-de-France HARRY HOPE Temps pleinVous êtes ici : HARRY HOPE, cabinet de recrutement accompagne candidats et entreprises dans leurs recherches des meilleures opportunités en France et à l'international.L'entreprise se présente : A propos de l'entreprise Harry Hope accompagne les entreprises et les candidats pour trouver les meilleures opportunités de carrière et de développement. Nos...
-
Ingénieur de données en cybersécurité
il y a 2 semaines
Paris, Île-de-France DGSE - Direction Générale de la Sécurité Extérieure Temps pleinDGSE recrute un Ingénieur de données en cybersécuritéNous sommes à la recherche d'un Ingénieur de données en cybersécurité pour rejoindre notre équipe de professionnels en cybersécurité.Votre rôleVous serez chargé de l'étude et du développement d'architectures systèmes et réseaux nécessaires à l'accomplissement des...
-
Ingénieur des données
il y a 1 mois
Paris, Île-de-France Groupe INTM Temps pleinNous recherchons un ingénieur des données pour rejoindre notre équipe au sein de Groupe INTM.Les missions de cet ingénieur seront les suivantes :La collecte et la mise à disposition de données de haute qualité.Le développement de solutions techniques pour la collecte et la mise à disposition de données.La mise en place de tests pour garantir la...
-
Ingénieur de données
il y a 4 semaines
Paris, Île-de-France Ingéniance Temps pleinIngénieur de donnéesIngéniance recherche un ingénieur de données expérimenté pour rejoindre son équipe de développement de systèmes de collecte, normalisation, croisement et restitution de données. Le candidat idéal aura une solide connaissance en programmation, en architectures distribuées et en bases de données NoSQL.MissionsDévelopper de...
-
Ingénieur en données
il y a 1 mois
Paris, Île-de-France Cegedim Temps pleinFonctionNous recherchons un ingénieur en données SQL Server expérimenté pour rejoindre notre équipe de développement.Compétences requisesExpérience en gestion de données et en systèmes d'informationConnaissance de SQL Server et de ses outilsCapacité à concevoir et à élaborer des solutions techniquesCompétence en matière de développement de...
-
Ingénieur de Données pour l'Intégration de Données
il y a 4 semaines
Paris, Île-de-France Apside Temps pleinMissionEn tant qu'Ingénieur de Données pour l'intégration de données, vous serez en charge de la prise en charge de la plateforme de données et des táches liées à l'intégration de données.ObjectifsVous participerez à la mise en place de la plateforme de données et des táches liées à l'intégration de données, en collaboration...
-
Ingénieur des données
il y a 4 semaines
Paris, Île-de-France MEDECINS SANS FRONTIERES Temps pleinMise en place d'une architecture de données solideL'association Médecins Sans Frontières recherche un ingénieur des données pour contribuer à la mise en place d'une architecture de données solide. Ce dernier sera chargé de développer les solutions techniques de collecte de la donnée via des API ou autres solutions, et de mettre en œuvre les outils...
-
Ingénieur des Données
il y a 4 semaines
Paris, Île-de-France Effy Temps pleinCréez avec nous un avenir durableÀ Effy, nous sommes convaincus que la rénovation énergétique est le cœur du changement que nous devons apporter pour protéger notre planète et améliorer la qualité de vie de nos concitoyens. Dans cette optique, nous recherchons un Ingénieur des Données pour renforcer notre équipe de Data et contribuer à la mise...
-
Ingénieur des données
il y a 4 semaines
Paris, Île-de-France MEDECINS SANS FRONTIERES Temps pleinPrésentationMEDECINS SANS FRONTIERES recherche un Ingénieur des données pour rejoindre son équipe de développement de systèmes de données.Vous serez responsable de la conception, du développement et de la mise en œuvre de solutions de gestion de données pour soutenir les activités de l'organisation.MissionsConception de l'architecture de...
-
Ingénieur en données
il y a 4 semaines
Paris, Île-de-France BI consulting Temps pleinMissions clésVous rejoindrez notre équipe de BI consulting en tant qu'ingénieur en données. Vos missions seront multiples :Concevoir et mettre en place des plateformes de données performantesDévelopper des pipelines d'ingestion et de préparation de donnéesGérer le stockage de données et alimenter les entrepôts de donnéesDévelopper des...
-
Ingénieur des données
il y a 4 semaines
Paris, Île-de-France Licorne Society Temps pleinRejoignez le Licorne SocietyNous recherchons un Ingénieur des données pour rejoindre notre équipe dynamique au sein de la Licorne Society !À propos du posteEn tant que Ingénieur des données, vous serez chargé de concevoir, développer et optimiser les pipelines de données pour soutenir la croissance de nos produits et l'efficacité de nos systèmes...
-
Ingénieur en données
il y a 4 semaines
Paris, Île-de-France Arcane Temps pleinMissions clésEn tant qu'Ingénieur en données chez Arcane, tu seras chargé de l'orchestration et de l'exposition des données en utilisant les technologies du marché (ETL/DBT). Tu travailleras également sur le traitement de données BigData sur les plateformes Cloud Marché (BigQuery, Snowflake, Redshift) et sur la gestion de notre...
-
Ingénieur des données
il y a 1 mois
Paris, Île-de-France Licorne Society Temps pleinPoste d'Ingénieur des donnéesL'entreprise Licorne Society recherche un Ingénieur des données pour rejoindre son équipe de développement. En tant que Data Engineer, vous serez chargé de concevoir, développer et optimiser les pipelines de données pour améliorer la performance et l'efficacité des systèmes de traitement de...
-
Ingénieur de données
il y a 4 semaines
Paris, Île-de-France Business & Decision Temps pleinPoste d'Ingénieur de donnéesBusiness & Décision recherche un Ingénieur de données pour rejoindre son équipe de données. En tant que Data Engineer, vous serez chargé de la conception, la construction et l'optimisation des pipelines de traitement des données au sein d'une plateforme de données centralisée « DATAHUB...
-
Ingénieur des données
il y a 4 semaines
Paris, Île-de-France Richemont Temps pleinDemande d'emploiL'entreprise Richemont recherche un Ingénieur des données expérimenté pour rejoindre son équipe.Les principales responsabilitésConcevoir, construire et maintenir des architectures de données robustes sur GCP.Optimiser les flux de données et la collecte pour améliorer la performance des systèmes.Collaborer avec les équipes IT et...
-
Ingénieur en données
il y a 4 semaines
Paris, Île-de-France Meritis Temps pleinDescription du poste Nous recherchons un Ingénieur en données qui contribuera à la modernisation du backend de notre entreprise. Dans ce cadre, la mission consiste à : Analyser les besoins des différents métiers : analyse de données, BI, Big Data. Contribuer à la définition des solutions dans l'environnement applicatif (Cloud Platform /...
-
Ingénieur en données
il y a 1 mois
Paris, Île-de-France JEMS Temps pleinÀ propos de JEMSNous sommes le seul industriel de la donnée en Europe. Notre métier est de créer, gérer et exploiter le patrimoine de données de nos clients.Nous avons la conviction que chaque entreprise peut adopter une démarche innovante de gestion de données et créer des cas d'utilisation disruptifs en réduisant l'impact écologique et...
-
Ingénieur en données
il y a 4 semaines
Paris, Île-de-France Sibylone Temps pleinMissions clésConcevoir et mettre en œuvre des architectures de données robustes et évolutives pour répondre aux besoins métiers des clientsParticiper à la conception et au déploiement d'environnements Big Data et CloudDévelopper des pipelines d'ingestion et de préparation de donnéesGérer les systèmes de stockage de données et alimentation des...
-
Ingénieur de données
il y a 4 semaines
Paris, Île-de-France Dataworks Temps pleinL'objectif de ce poste est de mettre en place une nouvelle architecture pour le stockage et le traitement des données.Vous serez responsable de la conception et de la mise en œuvre de structures de données Lake et Data Warehouse.Ce rôle nécessite une expertise en Python, en bases de données (PostgreSQL ou PostGIS) et en orchestrateurs (comme...
-
Ingénieur des données Flink
il y a 4 semaines
Paris, Île-de-France Harnham Temps pleinRejoignez Harnham comme Ingénieur des données Flink !La mission consiste à:Intégrer et traiter des donnéesCadrer les besoins techniques avec les équipes ITDéployer, tester et maintenir un environnement de donnéesDévelopper une architecture et la migrer vers le cloudVous devrez:Avoir au moins 3 ans d'expérience en tant qu'Ingénieur des données...