Data Engineer Big Data Snowflake
il y a 6 jours
Notre client, grand compte de l'energie, recherche un Data ENGINEER.
Sa plateforme Data & Analytics repose sur des design paterns où les ingestions de données sont paramétrées et ingérées en mode « delta-lake »(Tables de streaming). Toutes les transformations et règles de gestions sont réalisées au sein de nombreuses procédures stockées (SQL et javascript), voire Python avec Snowpark (pour les transformations plus techniques et avancées). Ces transformations sont ordonnancées par le service Azure Automation et supervisées via le service managé logAnalytics.
? Maîtrise des process d?ingestion en batch et streaming quelle que soit la typologie de sourcing des données (API, Fichier structuré, semi structuré, non structuré, BDD, ?) et quel que soit le Cloud provider en entrée (AWS/AZURE).
? Expertise BDD Snowflake avec minimum 3 ans d?expérience (SnowSQL, Rôles, Virtual Warehouse, Datamodelling)
? Très bonne maîtrise des langages SnowSQL (impératif), Javascript, T-SQL, Python(ex : Panda, NumPy)
? Optimisation de requête et performance, factorisation du code, respect de l?état de l?art.
Capacité à faire du code review et assumer le rôle de release manager.
? Capacité d?analyse avancée pour résoudre les incidents techniques ou fonctionnels avec Tests unitaires et code quality.
? Parfaite maitrise de GIT et connaissance d?un outil de gestion de configuration tel que Azure Devops(Méthode GITHubflow), CI/CD/Artefact)
? Analyse avancée et modélisation statistique
**Outils à maitriser**:
**SnowSQL et T-SQL (SQL server 2017+ et SGBD PaaS**: SMI & Synapse Azure)
? GIT
? Snowflake
? Cube tabulaire (PaaS)
? MS Azure Data Factory (Kafka envisagé aussi à terme pour gérer les flux stream?)
? Power BI (DAX, M)
? Power BI Reporting Services / Paginated Reports
? Powershell
? Python for Analytics
? MS Azure Devops (TeraForm, PowerShell, Yaml?)
**? Services Azure**: Keyvault, Storage account, Automation, Azure Function, Log Analytics (KQL)?
? API REST (consommateur/développeur)
**Compétences appréciées**:
? Streamlit
**? Connaissance des produits Datascience**: Dataiku, Sagemaker..
? Cube multidimensionnel SQL server (MDX)
? JavaScript (+D3js)
? Apache Spark - Databricks (MPP et Clustering)
? Services AWS (RDS, S3, Lambda, KMS, CloudWatch?)
Cette mission peut s'effectuer sur Nantes ou Paris.
-
Data Engineer Snowflake
il y a 5 jours
Nantes, Pays de la Loire, France Devoteam Data Driven Temps pleinPrésentation de l'équipeDevoteam Nantes,avec ses 160 collaborateurs, est un acteur clé de la transformation digitale dans la région nantaise. Au sein de l'agence, l'entitéData Drivena pour ambition d'aider ses clients à transformer la valeur de leurs données en succès durable et d'accélérer leur adoption de l'IA au sein de leurs équipes...
-
Cloud Data Engineer H/F
il y a 3 jours
Nantes, France Devoteam Data Driven Temps pleinPrésentation de l’équipe Devoteam Nantes, avec ses 160 collaborateurs, est un acteur clé de la transformation digitale dans la région nantaise. Au sein de l’agence, l’entité Data Driven a pour ambition d’aider ses clients à transformer la valeur de leurs données en succès durable et d’accélérer leur adoption de l’IA au sein de leurs...
-
Cloud Data Engineer — Build Scalable Pipelines
il y a 3 jours
Nantes, France Devoteam Data Driven Temps pleinUne entreprise spécialisée en transformation digitale recherche un(e) consultant(e) Cloud Data Engineer pour rejoindre son équipe à Nantes. Le rôle implique la collaboration avec les métiers pour concevoir des transformations data, gérer des pipelines de données et implémenter des évolutions des plateformes des clients. Le candidat idéal...
-
Data Engineer Snowflake
il y a 6 jours
Nantes, Pays de la Loire, France Gibbs & Cox Australia Temps pleinDescription De L'entreprise Présentation de l'équipeDevoteam Nantes,avec ses 160 collaborateurs, est un acteur clé de la transformation digitale dans la région nantaise. Au sein de l'agence, l'entitéData Drivena pour ambition d'aider ses clients à transformer la valeur de leurs données en succès durable et d'accélérer leur adoption de l'IA au sein...
-
Big Data Engineer
il y a 2 semaines
Nantes, France iGrafx LLC Temps pleinBig Data Engineer **Overview** **Description** Join a world leader in digital business transformation. At Logpickr, subsidiary of iGrafx, we believe the right process can create competitive advantage. Our mission is to make our customers more efficient companies with an easy-to-use process mining solution that is suitable for everyone. The team knows...
-
Cloud Data Engineer H/F
il y a 7 jours
Nantes, Pays de la Loire, France Devoteam Data Driven Temps pleinPrésentation de l'équipeDevoteam Nantes,avec ses 160 collaborateurs, est un acteur clé de la transformation digitale dans la région nantaise. Au sein de l'agence, l'entitéData Drivena pour ambition d'aider ses clients à transformer la valeur de leurs données en succès durable et d'accélérer leur adoption de l'IA au sein de leurs équipes...
-
Data Engineer
il y a 2 semaines
Nantes, France Daher Temps pleinNous recherchons notre futur(e) Data Engineer Type de contrat CDI Présentation de l'emploi Pour accompagner notre développement et renforcer notre équipe, nous recherchons un(e) DATA ENGINEER, en CDI. Vous serez rattaché(e) au Responsable de Centre Informatique DATA, à Nantes sur le centre d'innovation Shap'IN. Vous serez garant de l’accès...
-
Data Engineer H/F
il y a 2 jours
Nantes, France Talan Temps pleinDans la continuité de la croissance de notre agence Nantaise, nous sommes en recherche d'un ou d'une Data Engineer senior. En tant que Data Engineer, vous serez responsable de concevoir, mettre en oeuvre et optimiser des solutions data innovantes pour répondre aux besoins de nos clients. Vous travaillerez en étroite collaboration avec les équipes...
-
Data Engineer
il y a 1 semaine
Nantes, France agileDSS Temps plein**Rejoins une équipe d'intrapreneurs passionnés et innovants !** Nous sommes une équipe d'experts, unis par des valeurs communes et une soif constante d'innovation. Toujours à l'affût des dernières avancées technologiques, nous transformons des idées en projets concrets. Ensemble, nous repoussons les limites pour construire un avenir data-driven...
-
Cloud Data Engineer H/F
il y a 5 jours
Rue Emile Masson, Nantes, France Devoteam Data Driven France Temps pleinDescription de l'entreprise Présentation de l'équipeDevoteam Nantes, avec ses 160 collaborateurs, est un acteur clé de la transformation digitale dans la région nantaise. Au sein de l'agence, l'entité Data Driven a pour ambition d'aider ses clients à transformer la valeur de leurs données en succès durable et d'accélérer leur adoption de l'IA au...
