Data Engineer
il y a 17 heures
**Qui sommes-nous ?**
Superpictor est une startup innovante qui révolutionne le secteur des objets et têxtiles personnalisés grâce à des outils SaaS intelligents. Nous automatisons la gestion des **données produits** et facilitons leur **intégration à grande échelle** pour nos clients B2B.
Notre **stack data** repose sur **Pimcore (basé sur Symfony)** pour centraliser toutes les données produits, ainsi que **Google Cloud (App Engine, Cloud Functions)** pour nos APIs et traitements scalables.
Nous intégrons des flux provenant de divers distributeurs via **des connecteurs PHP**, et gérons différents formats d’API **:REST, GraphQL, CSV, XML, JSON**.
Dans le cadre de notre croissance, nous cherchons un(e) **Data Engineer** pour **optimiser, structurer et scaler** nos flux de données.
**Tes missions**
Tu rejoindras l’équipe Tech sous la direction du CTO, avec pour mission de **fiabiliser, automatiser et améliorer l’intégration des données produits**.
- **Phase 1 : Consolidation et optimisation (court terme)**
- **Améliorer et fiabiliser nos pipelines d’intégration** basés sur **Symfony/Pimcore** pour récupérer et traiter les données produits.
- **Optimiser les performances des connecteurs PHP** qui interagissent avec les APIs des distributeurs (**REST, GraphQL, CSV, XML, JSON**).
- **Assurer la gestion des données froides et chaudes** (produits, images, prix, stock).
- **Automatiser les flux** Pimcore → API→ Superpictor SaaS → **Sites e-commerce** pour éviter les traitements manuels et garantir une synchronisation fiable.
- **Mettre en place du monitoring et des logs avancés** pour garantir la qualité des données et détecter les anomalies.
- **Phase 2 : Scalabilité et automatisation avancée (moyen/long terme)**
- Concevoir et implémenter **des solutions d’automatisation et d’orchestration avancées** (Airflow, dbt, Dataflow, etc.).
- Explorer des **architectures Data Warehouse (BigQuery, Snowflake )** pour améliorer la structuration et l’exploitation des données produits.
- Optimiser la gestion des **flux de données chaudes** (prix et stock) pour les rendre plus **temps réel**.
- **Structurer une architecture data scalable et modulaire** pour anticiper l’augmentation des volumes et des intégrations partenaires.
**- Stack technique et outils utilisés**
- **Langages & Frameworks** **:PHP (Symfony/Pimcore), Python**.
- **Intégration API** **:REST, GraphQL, CSV, XML, JSON**.
- **Base de données** **:MariaDB, MySQL**.
- **Cloud & Infra** **:Google Cloud (BigQuery, Cloud Storage, App Engine, Cloud Functions)**.
- **Orchestration (à explorer)** **:Airflow, dbt**.
**- Profil recherché**
- **Tu maîtrises PHP/Symfony et Pimcore** (ou un autre **PIM/MDM** similaire).
- **Tu as de bonnes bases en PHP, Python et SQL** pour l’automatisation et le traitement des données.
- **Tu es à l’aise avec les APIs REST et les formats de données CSV/XML/JSON**.
- **Tu comprends les enjeux de scalabilité et d’intégration de données en temps réel et en batch**.
- **Un plus** : Expérience avec **Airflow, dbt, Google Cloud, Kafka ou un Data Warehouse**.
Type d'emploi : Temps plein, CDI
Statut : Cadre
Rémunération : à partir de 32 000,00€ par an
Horaires:
- Du lundi au vendredi
Lieu du poste : En présentiel
-
Senior Databricks Data Engineer
il y a 3 heures
Lyon, France Devoteam Data Driven Temps pleinUne entreprise innovante en technologie recherchte un Data Engineer à Lyon pour concevoir des pipelines de données sur Databricks et participer à des projets dynamiques. Vous serez chargé de recueillir des besoins, assurer la qualité des données et contribuer à l'amélioration continue dans un environnement Agile. Les compétences requises incluent...
-
Azure Data Engineer
il y a 4 jours
Lyon 2e, France Cellenza Temps pleinCellenza est un cabinet de conseil spécialisé dans l’accompagnement de ses clients sur des projets stratégiques de transformation numérique et d’innovation. Nous sommes une communauté de 120 passionnés avec des expertises en Stratégie IT, Plateformes Cloud et Data dans Azure, IA & ML, Développement & Devops, Conteneurisation et...
-
Azure Data Engineer
il y a 16 heures
Lyon 2e, France Cellenza Temps pleinCellenza est un cabinet de conseil spécialisé dans l’accompagnement de ses clients sur des projets stratégiques de transformation numérique et d’innovation. Nous sommes une communauté de 120 passionnés avec des expertises en Stratégie IT, Plateformes Cloud et Data dans Azure, IA & ML, Développement & Devops, Conteneurisation et...
-
Data Engineer
il y a 1 semaine
Lyon 2e, France TimTek Temps plein**TimTek est une startup à mi-chemin entre l'incubateur et l'ESN, dont les objectifs sont multiples.** Tout d'abord, nous développons une activité de prestation intellectuelle dans le domaine IT autour de 4 sujets: - **Développement**: Java, PHP, C#, Javascript et tous leurs frameworks. - **Infrastructure**: Cloud, Devops, Architecture, Administration...
-
Data Engineer
il y a 7 jours
Lyon 2e, France TimTek Temps plein**TimTek est une startup à mi-chemin entre l'incubateur et l'ESN, dont les objectifs sont multiples.** Tout d'abord, nous développons une activité de prestation intellectuelle dans le domaine IT autour de 3 sujets: - **Développement**: Java, PHP, C#, Javascript et tous leurs frameworks. - **Infrastructure**: Cloud, Devops, Architecture, Administration...
-
Data Engineer: Databricks Migration
il y a 2 heures
Lyon, France Devoteam Data Driven Temps pleinUne société de services en ingénierie recherche un Data Engineer à Lyon pour intégrer une équipe et participer à la migration des données de Cloudera vers Databricks. Le candidat idéal possède un Bac +5, 2 ans d’expérience minimum et maîtrise Python et SQL. Des formations et certifications sont proposées pour accompagner votre développement....
-
Data Engineer
il y a 4 jours
Lyon, France Kéoni Consulting Temps plein**Data Engineer** **Contexte de la mission**: LA DSI du client final a mis en place une Data Plateforme pour faciliter la mise en œuvre des projets Data. Elle souhaite aujourd’hui mettre en place en son sein une équipe d’experts compétents pour développer les projets Data et la piloter directement. **MISSIONS**: - Participation aux ateliers de...
-
Data Analyst
il y a 6 jours
Lyon, France JEMS Temps pleinJEMS recrute un(e) Data Analyst / Data Engineer Senior – Power BI & Databricks (CDI – Lyon)Vous êtes un profil Data senior, à l’aise aussi bien avec les métiers Finance & Marketing qu’avec des environnements techniques exigeants ?Vous souhaitez intervenir sur des projets data stratégiques pour de grands comptes du secteur Transport et Industrie ?...
-
Data Engineer
il y a 2 semaines
Lyon, Auvergne-Rhône-Alpes, France Ethic Technology Temps pleinIntitulé du poste : Data EngineerLocalisation : LyonExpérience souhaitée : 5 à 7 ans en Data Engineering, idéalement avec une expérience en analyse de donnéesRôle et responsabilités du consultant recherché : Data Engineer confirméGarantir l?intégration des sources de données nécessaires à la continuité du reporting interne et externeAssurer...
-
Data Engineer
il y a 1 semaine
Lyon, Auvergne-Rhône-Alpes, France Collective Temps pleinBudget: jusqu'à 45K€ brut annuelNous recherchons un Data Engineer pour intervenir en mission longue durée chez un client grand compte du secteur de l'énergie, basé à Lyon.La mission s'inscrit dans un contexte de valorisation et d'exploitation d'un entrepôt de données (Data Warehouse) pour répondre aux besoins métiers et d'analyse. Le poste est...