Data Engineer

il y a 1 jour

Lyon, France FLY IT Temps plein

Au sein d'une équipe du Lab (comprenant 6 expert techniques) parmi les 10 équipes agiles du dispositif.

Tâches:

- Conception de Pipelines de Données : Concevoir des flux de données robustes et évolutifs en utilisant Apache NiFi pour répondre aux besoins spécifiques de l'entreprise.
- Développement NiFi : Implémenter, configurer et optimiser les processus NiFi pour l'ingestion, la transformation et la diffusion de données de manière efficace.
- Intégration de Sources de Données : Intégrer différentes sources de données, telles que bases de données, API et fichiers, en utilisant NiFi pour assurer une collecte cohérente et fiable.
- Optimisation des Performances : Optimiser les performances des pipelines de données NiFi en surveillant les métriques, en identifiant les goulots d'étranglement et en apportant des améliorations continues.
- Sécurité des Données : Mettre en place des mesures de sécurité pour garantir la confidentialité et l'intégrité des données transitant à travers les pipelines NiFi.
- Documentation : Documenter les conceptions, configurations et meilleures pratiques pour faciliter la maintenance future et le partage des connaissances au sein de l'équipe.
- Collaboration : Collaborer avec les équipes interfonctionnelles, notamment les ingénieurs logiciels, les architectes de données et les analystes, pour comprendre les exigences métier et assurer une intégration harmonieuse des pipelines de données.

PREREQUIS:

- Excellente maîtrise d'Apache NiFi et des concepts associés.
- Connaissance approfondie des bases de données, des formats de données et des protocoles d'échange.
- Compétences en programmation/scripting (Java, Python, etc.).
- Compréhension des principes de sécurité des données.
- Capacité à résoudre des problèmes complexes liés aux flux de données.

Compétences requises:

- 3 années pleines en tant que Data Engineer en charge de developpement de flux via Nifi
- Montée en compétence rapide
- Esprit de synthèse et d'analyse
- Capacité à comprendre les enjeux business de votre domaine et à les traduire dans les processus et systèmes d’information adaptés
- La connaissance de l'Assurance Vie et de la banque n'est pas indispensable mais un plus

  • Data Engineer

    il y a 2 semaines

    Lyon, France VISIAN Temps plein

    Notre client, un grand compte du secteur de l'énergie, est à la recherche d'un Data Engineer pour compléter ses équipes. La Business Entity « Entreprises & Collectivités » (E&C) a pour mission la commercialisation d?énergie (gaz et électricité) et de services auprès de ses clients entreprises et collectivités locales (BtoB). Dans le cadre d'un...

  • Senior Data Engineer

    il y a 4 jours

    Lyon, France Devoteam Data Driven France Temps plein

    Une entreprise innovante à Lyon recherche un Data Engineer pour concevoir des pipelines de données robustes et optimiser les flux de données. Vous devez maîtriser Databricks, PySpark, Python et SQL, et avoir une connaissance en Cloud (AWS, Azure ou GCP). Le candidat devra aussi avoir un niveau B2 en anglais et être capable de travailler en méthode...

  • Senior Data Engineer Spark

    il y a 4 jours

    Lyon, France Devoteam Data Driven Temps plein

    Agence multi spécialiste composée de 350 collaborateurs répartis en communautés d’experts, Devoteam Lyon accompagne les DSI dans leur transformation digitale, avec un focus sur les nouvelles technologies comme le cloud (AWS, Microsoft Google), l'intelligence artificielle, la cybersécurité, la data, et l'automatisation des processus métiers. Data...

  • Data Engineer: Databricks Migration

    il y a 2 semaines

    Lyon, France Devoteam Data Driven Temps plein

    Une société de services en ingénierie recherche un Data Engineer à Lyon pour intégrer une équipe et participer à la migration des données de Cloudera vers Databricks. Le candidat idéal possède un Bac +5, 2 ans d’expérience minimum et maîtrise Python et SQL. Des formations et certifications sont proposées pour accompagner votre développement....

  • Senior Databricks Data Engineer — Cloud and AI Impact

    il y a 4 jours

    Lyon, France Devoteam Data Driven Temps plein

    Une entreprise de transformation digitale recherche un(e) Data Engineer pour concevoir des pipelines de données sur Databricks et optimiser les flux de données pour des grands comptes. Ce rôle nécessite des compétences en PySpark, Python, SQL, ainsi qu'une bonne maîtrise des environnements Cloud. Une expérience en méthode Agile et un bon niveau...

  • Data Engineer

    il y a 4 jours

    Lyon, France Sword Services Temps plein

    Nous ouvrons un poste de Data Engineer basé à Lyon, l mission s’inscrit dans une logique de renforcement des équipes d’un de nos clients et dans le cadre d’un vaste chantier de modernisation d’architecture data. Dans ce cadre, nous recherchons un Data Engineer pour concevoir, construire et optimiser une nouvelle architecture data robuste et...

  • Data Engineer

    il y a 1 semaine

    Lyon, Auvergne-Rhône-Alpes, France Sword Group Temps plein

    Nous ouvrons un poste deData Engineerbasé à Lyon, la mission s'inscrit dans une logique de renforcement des équipes d'un de nos clients et dans le cadre d'un vaste chantier de modernisation d'architecture data.Dans ce cadre, nous recherchons un Data Engineer pour concevoir, construire et optimiser une nouvelle architecture data robuste et évolutive,...

  • Data Engineer

    il y a 5 jours

    Lyon, Auvergne-Rhône-Alpes, France Ideal Match Temps plein

    Présentation de la société Nous recherchons un Data Engineer (F/H) pour intervenir sur un projet d'envergure et contribuer à la gestion et l'optimisation des flux de données.Description Vos missionsConcevoir et optimiser les pipelines de traitement des données avec Spark et Scala.Travailler sur des volumes de données massifs et assurer leur qualité...

  • Data Engineer

    il y a 6 jours

    Lyon, France Harnham Temps plein

    INFO - SALARY: - €65000 - €75000 LOCATION Lyon - JOB TYPE - Permanent **DATA ENGINEER** **Lyon** **Télétravail : 2 jours/semaine** **Salaire : entre 55K et 60K euros** Notre client, une start-up spécialiste sur le domaine de la santé, recrute de manière urgente un(e) Data Engineer. Votre rôle clé sera de collecter d'importants volumes de...

  • Data Engineer

    il y a 1 semaine

    Lyon, Auvergne-Rhône-Alpes, France Free-Work Temps plein

    CITECH recrute Dans le cadre du renforcement de son pôle dédié à l'architecture, la valorisation et l'exploitation de la donnée, une grande entreprise nationale du secteur de l'énergie recherche unData Engineer / Data Analyst (H/F).L'objectif : contribuer à la fiabilité, la qualité et l'analyse des données nécessaires à la gestion des réseaux,...