Data Engineer

il y a 1 jour

Lyon, France Superpictor Temps plein

**Qui sommes-nous ?**

Superpictor est une startup innovante qui révolutionne le secteur des objets et têxtiles personnalisés grâce à des outils SaaS intelligents. Nous automatisons la gestion des **données produits** et facilitons leur **intégration à grande échelle** pour nos clients B2B.

Notre **stack data** repose sur **Pimcore (Symfony)** pour centraliser toutes les données produits, ainsi que **Google Cloud (App Engine, Cloud Functions)** pour nos APIs et traitements scalables.

Nous intégrons des flux provenant de divers distributeurs via **des connecteurs PHP**, et gérons différents formats d’API **:REST, GraphQL, CSV, XML, JSON**.

Dans le cadre de notre croissance, nous recherchons un(e) **Data Engineer** pour **optimiser, structurer et scaler** nos flux de données.

**Tes missions**

Tu rejoindras l’équipe Tech sous la direction du CTO, avec pour mission de **fiabiliser, automatiser et améliorer l’intégration des données produits**.

**Phase 1 : Consolidation et optimisation (court/moyen terme)**
- **Améliorer et fiabiliser nos pipelines d’intégration** basés sur **Symfony/Pimcore** pour récupérer et traiter les données produits.
- **Optimiser les performances des connecteurs PHP** qui interagissent avec les APIs des distributeurs (**REST, GraphQL, CSV, XML, JSON**).
- **Assurer la gestion des données froides et chaudes** (produits, images, prix, stock).
- **Automatiser les flux** Pimcore → Superpictor → **Sites e-commerce** pour éviter les traitements manuels et garantir une synchronisation fiable.
- **Mettre en place du monitoring et des logs avancés** pour garantir la qualité des données et détecter les anomalies.

**Phase 2 : Scalabilité et automatisation avancée (long terme)**
- Concevoir et implémenter **des solutions d’automatisation et d’orchestration avancées** (Airflow, dbt, Dataflow, etc.).
- Explorer des **architectures Data Warehouse (BigQuery, Snowflake )** pour améliorer la structuration et l’exploitation des données produits.
- **Structurer une architecture data scalable et modulaire** pour anticiper l’augmentation des volumes et des intégrations partenaires.

**Stack technique et outils utilisés**

**Langages & Frameworks** **:PHP (Symfony/Pimcore), Python**. **Intégration API** **:REST, GraphQL, CSV, XML, JSON**. **Base de données** **:MariaDB, MySQL**.☁ **Cloud & Infra** **:Google Cloud (BigQuery, Cloud Storage, App Engine, Cloud Functions)**.⚙**Orchestration (à explorer)** **:Airflow, dbt**.

**Profil recherché**
- **Tu as de bonnes bases en PHP, Python et SQL** pour l’automatisation et le traitement des données.
- **Tu es à l’aise avec les APIs REST et les formats de données CSV/XML/JSON**.
- **Tu comprends les enjeux de scalabilité et d’intégration de données en temps réel et en batch**.

**Un plus** : Expérience avec **Airflow, dbt, Google Cloud, Kafka ou un Data Warehouse**.

Type d'emploi : Temps plein, CDI
Statut : Cadre

Rémunération : 33 000,00€ à 38 000,00€ par an

Avantages:

- RTT

Horaires:

- Du lundi au vendredi

Lieu du poste : En présentiel

Date de début prévue : 12/05/2025

  • Senior Databricks Data Engineer

    il y a 4 jours

    Lyon, France Devoteam Data Driven Temps plein

    Une entreprise innovante en technologie recherchte un Data Engineer à Lyon pour concevoir des pipelines de données sur Databricks et participer à des projets dynamiques. Vous serez chargé de recueillir des besoins, assurer la qualité des données et contribuer à l'amélioration continue dans un environnement Agile. Les compétences requises incluent...

  • Senior Data Engineer

    il y a 7 heures

    Lyon, France Devoteam Data Driven France Temps plein

    Une entreprise innovante à Lyon recherche un Data Engineer pour concevoir des pipelines de données robustes et optimiser les flux de données. Vous devez maîtriser Databricks, PySpark, Python et SQL, et avoir une connaissance en Cloud (AWS, Azure ou GCP). Le candidat devra aussi avoir un niveau B2 en anglais et être capable de travailler en méthode...

  • Senior Data Engineer Spark

    il y a 7 heures

    Lyon, France Devoteam Data Driven Temps plein

    Agence multi spécialiste composée de 350 collaborateurs répartis en communautés d’experts, Devoteam Lyon accompagne les DSI dans leur transformation digitale, avec un focus sur les nouvelles technologies comme le cloud (AWS, Microsoft Google), l'intelligence artificielle, la cybersécurité, la data, et l'automatisation des processus métiers. Data...

  • Data Engineer: Databricks Migration

    il y a 7 heures

    Lyon, France Devoteam Data Driven Temps plein

    Une société de services en ingénierie recherche un Data Engineer à Lyon pour intégrer une équipe et participer à la migration des données de Cloudera vers Databricks. Le candidat idéal possède un Bac +5, 2 ans d’expérience minimum et maîtrise Python et SQL. Des formations et certifications sont proposées pour accompagner votre développement....

  • Data Engineer

    Il y a 42 minutes

    Lyon, Auvergne-Rhône-Alpes, France Sword Group Temps plein

    Nous ouvrons un poste deData Engineerbasé à Lyon, la mission s'inscrit dans une logique de renforcement des équipes d'un de nos clients et dans le cadre d'un vaste chantier de modernisation d'architecture data.Dans ce cadre, nous recherchons un Data Engineer pour concevoir, construire et optimiser une nouvelle architecture data robuste et évolutive,...

  • Data Engineer

    il y a 1 semaine

    Lyon, France Kéoni Consulting Temps plein

    **Data Engineer** **Contexte de la mission**: LA DSI du client final a mis en place une Data Plateforme pour faciliter la mise en œuvre des projets Data. Elle souhaite aujourd’hui mettre en place en son sein une équipe d’experts compétents pour développer les projets Data et la piloter directement. **MISSIONS**: - Participation aux ateliers de...

  • Data Engineer F/H migration Databricks

    il y a 7 heures

    Lyon, France Devoteam Data Driven Temps plein

    Agence multi spécialiste composée de 350 collaborateurs répartis en communautés d’experts, Devoteam Lyon accompagne les DSI dans leur transformation digitale, avec un focus sur les nouvelles technologies comme le cloud (AWS, Microsoft, Google), l'intelligence artificielle, la cybersécurité, la data, et l'automatisation des processus métiers. Data...

  • Data Engineer

    Il y a 56 minutes

    Lyon, Auvergne-Rhône-Alpes, France Free-Work Temps plein

    CITECH recrute Dans le cadre du renforcement de son pôle dédié à l'architecture, la valorisation et l'exploitation de la donnée, une grande entreprise nationale du secteur de l'énergie recherche unData Engineer / Data Analyst (H/F).L'objectif : contribuer à la fiabilité, la qualité et l'analyse des données nécessaires à la gestion des réseaux,...

  • Senior Data Engineer Databricks H/F

    il y a 4 jours

    Lyon, France Devoteam Data Driven Temps plein

    Agence multi spécialiste composée de 350 collaborateurs répartis en communautés d’experts, Devoteam Lyon accompagne les DSI dans leur transformation digitale, avec un focus sur les nouvelles technologies comme le cloud (AWS, Microsoft Google), l'intelligence artificielle, la cybersécurité, la data, et l'automatisation des processus métiers. Data...

  • Lead Data Engineer

    il y a 4 jours

    Lyon, France Indy Temps plein

    **À propos**: Être indépendant, c’est avoir plusieurs métiers : son activité, son administratif, ses financesSauf qu’ils ont rarement des notions de comptabilité ! Pourtant, en France, il est obligatoire pour tous les indépendants, quelle que soit leur forme juridique, de tenir leur comptabilité et de déclarer leurs revenus. 2 possibilités...