Data Engineer Azure Retail

il y a 2 semaines

ÎledeFrance, France LINCOLN Temps plein

CDI : Tech Lead / Senior Data Engineer Azrue Retail - H/F


At Lincoln, we are a Pure Player Data company, reinventing data analysis for over 30 years. As experts in Modern BI, Big Data, and Data Science , we transform your data into powerful solutions for major accounts in sectors such as banking, retail, telecommunications, industrial, healthcare, and more. Our team is dedicated to delivering high-impact data solutions, empowering our clients to make data-driven decisions that drive their success. Join us and contribute to shaping the future of data analytics with our dynamic and innovative team.



Purpose of the Job

The Tech Lead / Senior Data Engineer will lead and contribute to the design, development, maintenance, and evolution of AI and Data Products. This highly technical role aligns with delivering business value as you will be working within an AI and Data Product team. From day one, you will participate in the design, development, and evolution of data pipelines, aiming at serving data to data consumers within the product team.



What You’ll Do


As a Tech Lead / Senior Data Engineer, your key responsibilities will include:


Lead Design and Development

  • Spearhead the design, implementation, and optimization of batch and real-time data ingestion pipelines using tools like Databricks (with PySpark) and DBT.
  • Ensure that raw data is cleansed, transformed, and enriched to be analytics-ready while optimizing data processing for speed and cost-efficiency.


Architect & Manage Data Systems ️

  • Design and implement robust database schemas, tables, and views.
  • Optimize storage formats such as Parquet or Delta Lake, enforce data quality checks, and document data lineage.
  • Implement partitioning, bucketing, and indexing strategies to ensure efficient data retrieval.


Collaborate with Data Experts

  • Work closely with data scientists to provide data in the right formats for machine learning and advanced analytics.
  • Collaborate with platform engineers to follow best practices and escalate common needs.
  • Support data analysts with SQL queries, views, and report generation, and assist in deploying machine learning models to production.


Ensure Security & Compliance

  • Implement role-based access controls, data encryption (both at-rest and in-transit), and adhere to industry and organizational data standards.
  • Regularly audit data access and usage to ensure compliance with privacy regulations and best practices.


Manage Infrastructure & Configuration ️

  • Set up and maintain Azure cloud infrastructure, including configuring Azure Data Lake Storage, Blob Storage, and deploying Databricks clusters.
  • Implement and manage data pipelines using Azure Data Factory and troubleshoot infrastructure-related issues as they arise.


Document & Train

  • Onboard new team members by providing access and initial training on tools.
  • Create comprehensive documentation and knowledge bases for data pipelines, best practices, and tooling.


Drive Continuous Improvement

  • Stay updated with the latest advancements in data engineering technologies.
  • Propose and implement workflow and system optimizations, and proactively identify areas for improvement and automation.
  • Keep the team informed on new features or changes in Azure, Databricks, or related technologies.


Hard Skills

  • Software Engineering & SQL: Python, SQL, software engineering practices, Python ecosystem, and SQL optimization.
  • Data Architecture: Design, integration, and cloud platform expertise, particularly with Azure and Databricks.
  • Data Processing with Big Data Frameworks: Mastery of PySpark and understanding of Delta Lake.
  • Data Storage & Data Management: Database management, data formats, and storage optimization.
  • Data Integration Tools: Proficiency with Azure Data Factory and DBT for data transformation.
  • Performance Optimization: Query tuning and pipeline optimization.
  • Security & Compliance: Data security, access control, and compliance with regulations.
  • DevOps & Automation: CI/CD, infrastructure as code, and basic knowledge of containerization.
  • Monitoring & Troubleshooting: Familiarity with logging, monitoring tools, and debugging skills.


Benefits

  • Collaborative and Innovative Environment: Work in a team that values creativity and teamwork.
  • Certified Training and Personalized Support: Access to professional development and mentoring to enhance your skills.
  • Remote Work and Flexible Hours: Balance your work and personal life with our flexible working arrangements.
  • Competitive Compensation and Attractive Benefits: Enjoy a rewarding salary package with comprehensive benefits.
  • Mobility Opportunities: Possibility of relocation to Lille, Lyon, or Aix-en-Provence.


✨ Recruitment Process

  • Two Interviews: A streamlined process with a Human Resources interview followed by a technical interview.


If you're passionate about data challenges and eager to join a dynamic and innovative team, apply now and help redefine the future of data analytics at Lincoln

  • Azure Data Engineer

    il y a 1 jour

    Île-de-France, France Glocomms Temps plein

    An IT Service client of GloComms are looking to strengthen their current Data team with an experienced Azure Data Engineer on a 6 month initial freelance contract for either one of their Paris or Lyon offices.Role: Freelance Azure Data EngineerDuration: 6 months confirmedLocation: Paris / Lyon officesHybrid Working: 3 days remote per weekStart Date: Start of...

  • Data engineer

    il y a 5 jours

    Île-de-France, France MP DATA Temps plein

    MP DATA recrute un(e) Data Engineer (H/F).Dans le cadre de la transformation digitale industrielle, l’équipe de data engineering en charge de l’exploitation du Cluster Big Data cherche à se développer : afin de répondre aux attentes des départements opérationnels en termes de :Valorisation et d'exploitation des données de...

  • Data Engineer Databricks

    il y a 1 mois

    Île-de-France, France LINCOLN Temps plein

    Lincoln Pure Player Data : Réinventant l'analyse depuis 30 ans. Experts en Modern BI, Big Data et Science des données . Nous transformons vos données en solutions pour les grands comptes, des secteurs bancaire, retail, télécoms, industriel, santé, et plus encore .Description du poste : Rejoignez notre équipe en tant que Consultant Data Engineer...

  • Data Engineer

    il y a 5 jours

    Île-de-France, France Aubay Temps plein

    Passionné par la Data, tu souhaites rejoindre une communauté d’experts dans le domaine afin de développer tes compétences en Data Engineering. Aubay renforce ses équipes Data et recherche des Data Engineers pour intégrer des dispositifs de projets pointus et variés.Ton quotidien en tant que Data Engineer chez Aubay, :Définition de la stratégie de...

  • Data Engineer GCP

    Il y a 2 mois

    Île-de-France, France LINCOLN Temps plein

    Lincoln Pure Player Data : Réinventant l'analyse depuis 30 ans. Experts en Modern BI, Big Data et Science des données . Nous transformons vos données en solutions pour les grands comptes, des secteurs bancaire, retail, télécoms, industriel, santé, et plus encore .Description du poste : Rejoignez notre équipe en tant que Consultant Data Engineer...

  • Data Engineer H/F

    Il y a 2 mois

    Hauts-de-France, France LINCOLN Temps plein

    DATA ENGINEER H/FCDI3 ans minimumChez Lincoln, nous formons une communauté d'innovateurs passionnés qui redéfinissent l'analyse de données depuis plus de 30 ans. En tant que Pure Player Data, notre expertise est reconnue dans les domaines de la Modern BI, du Big Data et de la Science des données.Notre mission ? Transformer les données en...

  • Big Data Engineer

    il y a 1 mois

    Île-de-France, France SKOTT GROUP Temps plein

    ▶ Qui sommes-nous ?➡ SKOTT GROUP est un cabinet de conseil spécialisé dans l’accompagnement de ses clients et consultants dans le domaine de la DATA. Fondé par une équipe d’associés partageant les mêmes valeurs d’Excellence et de Transparence, nous plaçons l’humain au cœur de nos activités. ➡ Nous vous offrons à nos clients un...

  • Senior Data Architect

    il y a 5 jours

    Île-de-France, France Opus Recruitment Solutions Temps plein

    Rôle : Architecte Data - Expert DataBricks Industrie : Consulting - R&DLocalisation : Île de France / Remote (depuis la France)Salaire : Entre 70k€ et 85k€ (fixe) selon expérienceÀ propos :Ce Pure Player Data français existe maintenant depuis plus de 5ans et continue sa phase de très forte croissance depuis maintenant plus de 2 ans. C'est le...

  • Scala AWS Data Engineer

    il y a 1 mois

    Île-de-France, France Reply Temps plein

    Vous êtes un(e) Data Engineer avec plus de 3 ans d’expérience ?Vous vous demandez pourquoi Scala n’est pas plus utilisé dans le big data avec AWS ?Vous souhaitez participer à des projets internationaux avec une communauté dotée d’une expertise unique en intégration ?Alors cette offre est pour vous !Qui sommes-nous ?Reply est un réseau mondial...

  • ML Engineer

    il y a 5 jours

    Île-de-France, France Aubay Temps plein

    Passionné par la Data et l’innovation à base d’Intelligence Artificielle, vous souhaitez rejoindre une communauté d’experts dans le domaine afin de développer vos compétences en Architecture, Data Engineering et Data Science/IA. Aubay renforce ses équipes Data et recherche des ML Engineers (H/F) pour accompagner nos clients dans...

  • Data Engineer

    il y a 1 mois

    Île-de-France, France EXOMIND Temps plein

    Fusion entre le cabinet de conseil IT et agence de développement, nous accompagnons les grandes entreprises et les pure players dans la conception et le développement de leurs solutions digitales.Nous réalisons des applications web et mobiles sur mesure. Nos équipes composées de Tech Lead, Développeurs, Testeur, Product Owner et Designers maitrisent...

  • Tech Lead Data Engineer

    Il y a 2 mois

    Hauts-de-Seine, Ile-de-France AXA en France Temps plein

    EnvironnementEn tant que Tech Lead Data Engineer F/H, vous allez contribuer directement aux projets des directions métier (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, …) d’AXA France et à la construction du socle technique Big Data.Vous allez intégrer une équipe d'une dizaine de personne...

  • Cloud Data Engineer

    Il y a 2 mois

    Île-de-France, France Devoteam G Cloud Temps plein

    Rejoignez la Team Devoteam GCloud en tant que Data Engineer GCP ! Êtes-vous prêt à plonger dans l'univers passionnant de la gestion des données sur Google Cloud Platform ? Êtes-vous un expert en matière de traitement de données et de solutions d'ingénierie ? Si oui, nous avons besoin de vous pour rejoindre notre équipe dynamique et...

  • Data Engineer GCP

    il y a 2 semaines

    Île-de-France, France Apside Temps plein

    OPPORTUNITE A POURVOIR : Data Engineer GCP Découvrez la Vie Apsidienne et vous aussi, devenez ApsidienOn aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut, mais on préfère que vous le découvriez vous-mêmes Découvrez votre future mission ContexteEn tant que Data Engineer, vous serez intégré chez l'un...

  • Analytics Engineer

    Il y a 2 mois

    Île-de-France, France LINCOLN Temps plein

    Lincoln Pure Player Data : Réinventant l'analyse depuis 30 ans. Experts en Modern BI, Big Data et Science des données . Nous transformons vos données en solutions pour les grands comptes, des secteurs bancaire, retail, télécoms, industriel, santé, et plus encore .Description du poste : Devenez notre prochain(e) Analytics Engineer - Life Sciences...

  • Business Analyst Data

    Il y a 2 mois

    Île-de-France, France Beelix Temps plein

    Qui sommes-nous ?Depuis 2016, nous accompagnons nos clients sur des problématiques de Product Management, Data et Design Thinking. Beelix contribue à façonner le monde de demain en participant aux grandes avancées des secteurs suivants:Automobile⚡EnergieMédias & TélécomsLuxe & Retail Banque, Finance & Assurance✈️DéfenseAujourd’hui, Beelix...

  • Senior Data Engineer 5 ans d'expérience post-école

    il y a 7 jours

    Île-de-France, France LMACP Temps plein

    Data Engineer (Python, SQL, AWS) [CDI]Que diriez-vous de rejoindre une entreprise innovante, très tech, et en pleine croissance, leader dans son domaine ?Il s'agit d'un CDI.Salaire : 50K€ - 75K€Compétences :Langages : Python, SQLCloud : AWS (Amazon S3, stockage objet)Orchestration : AirflowInfrastructure : Kubernetes, TerraformBig Data :...

  • 3D Pipeline Engineer

    il y a 1 mois

    Île-de-France, France In Technology Group Temps plein

    3D Pipeline EngineerRemote / Hybrid (has to be based in France, ideally in Paris)Hi there,I am working with a large multi-national company looking for an experienced 3D pipeline engineer. They help brands and retailers transform their shopper experiences with visual content by working on solutions for eCommerce, merchandising and marketing mainly through 3D...

  • Consultant.e en Data Gouvernance

    il y a 1 mois

    Île-de-France, France Novencia Group Temps plein

    Carnet de routeNovencia accompagne ses clients dans leurs projets de transformation digitale, technologique et data.Expert en Data et Intelligence Artificielle nous aidons nos clients à exploiter et valoriser leurs données sous toutes ses formes en les accompagnant sur des projets de Data Gouvernance, Data Architecture, Data Science, et Data...

  • Cloud Engineer

    il y a 2 semaines

    Île-de-France, France Lenstra Temps plein

    About LenstraLenstra was created by the passion of engineers specialised in Computer Science with a proven history in delivering top quality solutions to its customers. Bringing together work excellence and vision we managed to serve top tier clients from a variety of industry domains like Banking/Insurance, Luxury and Tech.We help our clients to solve their...