Data Engineer Snowflake

Concevoir et mettre en ?uvre des modèles de données et des architectures évolutives sur Snowflake.
Développer, tester et maintenir des processus ETL/ELT robustes pour transformer les données brutes en ensembles de données prêts pour l'analyse.
Créer et optimiser des requêtes SQL complexes, des procédures stockées et des vues dans Snowflake pour la transformation et l'extraction de données.
Mettre en place et maintenir un entrepôt de données cloud à grande échelle dans Snowflake.
Assurer l'intégrité des données, l'optimisation des performances et l'évolutivité de l'environnement Snowflake.
Gérer les fonctionnalités de Snowflake telles que Time Travel, Cloning et Streams pour le traitement des données en temps réel.
Surveiller et optimiser les performances des requêtes à l'aide des outils d'optimisation de Snowflake (par exemple, partitionnement, clustering, mise en cache le cas échéant).
Gérer l'optimisation des ressources et des coûts en ajustant les entrepôts de calcul pour plus d'efficacité.
Ajustez les requêtes SQL pour améliorer les performances et réduire les coûts.
Mettre en ?uvre des politiques de gouvernance des données, garantissant les normes de sécurité, de confidentialité et de conformité.
S'assurer que les pipelines de données suivent les processus de lignage des données et d'audit
Travailler en étroite collaboration avec les analystes de données, les consommateurs de données et d'autres parties prenantes de l'entreprise pour définir les exigences en matière de données.
Diriger et encadrer des ingénieurs juniors, en fournissant des conseils techniques sur les meilleures pratiques de Snowflake.
Agir en tant qu'expert en la matière sur Snowflake et SQL au sein de l'organisation, en conseillant sur les meilleures pratiques et les innovations
Expérience approfondie de l'architecture, des caractéristiques et des fonctionnalités de Snowflake.
Expérience pratique avec les outils Snowflake Snowsight, Streams, Tasks et d'autres outils Snowflake pour l'ingestion et le traitement des données.
Vaste expérience dans l'écriture de requêtes SQL complexes pour l'extraction, la manipulation et la création de rapports de données.
Solide compréhension des techniques d'optimisation SQL, d'indexation, de partitionnement et d'autres stratégies d'optimisation des performances.
Expérience avérée dans la création et la gestion de flux de travail ETL/ELT robustes à l'aide d'outils tels qu'Apache Airflow ou similaire.
Expérience dans l'intégration de données provenant de différentes sources telles que des API, des fichiers plats et des bases de données dans Snowflake.
Familiarité avec les plateformes cloud telles qu'AWS ou Azure et expérience de l'intégration de Snowflake avec ces environnements.
Connaissance des services cloud tels que S3, Lambda ou des systèmes de stockage basés sur le cloud pour l'entreposage de données.
Il est important de maîtriser les scripts Python ou Shell pour les tâches d'automatisation et de traitement de données.
Expérience avec l'orchestration de pipelines de données et les cadres d'automatisation (par exemple, Apache Airflow).
Une expérience avec les technologies Big Data comme Spark, Hadoop ou Kafka est un plus.
Familiarité avec les outils BI (par exemple, Tableau, MicroStrategy, Power BI) pour prendre en charge le reporting et la visualisation des données.
Solide compréhension des principes et des meilleures pratiques de gouvernance des données.
Connaissance des normes de sécurité et de conformité (par exemple, RGPD).