Data Engineer
il y a 1 jour
Rattaché(e) à notre DSI et au Pôle Data & Analytics, vos missions seront les suivantes:
**CONCEPTION ET MISE EN ŒUVRE DES MODELES DE DONNEES**
- Participer à la création et à l'organisation des entrepôts de données sur _Snowflake_, en veillant à ce qu'ils soient facilement extensibles et adaptables aux besoins futurs
- Contribuer à la création de modèles de données optimisés pour la gestion et l'analyse des données dans _Snowflake_
- S’assurer que les modèles de données soient normalisés et respectent les meilleures pratiques en matière de gestion des données pour garantir la cohérence et l'intégrité
- Mettre en place des politiques de sécurité pour protéger les données sensibles des accès restreints et contrôlés
**CREATION ET DEPLOIEMENT DE PIPELINES DE TRAITEMENT**
- Concevoir des scripts _Python_ pour automatiser l'extraction, la transformation et le chargement (_ETL_) des données à partir de nos outils métiers (_SQL_) et de sources multiples vers _Snowflake_
- Exploiter les bibliothèques de _Python_ comme _Pandas_, _NumPy_, etc., pour effectuer des transformations de données et des analyses statistiques
- Implémenter des pipelines utilisant _Snowpipe_ afin de réaliser automatiquement des traitement de données dans _Snowflake_
- Utiliser des outils de planification pour automatiser et orchestrer l'exécution des pipelines de données
- Travailler avec un _ETL_ du marché (_FME_) pour automatiser certains processus de collecte de données
- Gérer l'intégration des données issues des _API_ de Google (Google Ads, Google Search Console, etc.), permettant l'analyse des performances publicitaires et du trafic web
**MAINTENANCE ET OPTIMISATION DES PIPELINES**
- Assurer la surveillance continue des pipelines de données pour identifier et résoudre les problèmes de performance, de latence ou de qualité
- Proposer des améliorations techniques et fonctionnelles pour rendre les pipelines plus évolutifs et performants
- Mettre à jour régulièrement la documentation technique des pipelines
Formation : BAC+5 (Master ou diplôme d’ingénieur) en Informatique, Mathématiques appliqués, Data Science, Ingénierie des Systèmes d’Information ou Big Data
Expérience : 2 ans d’expérience minimum sur un poste similaire
Qualités : Rigueur, Sens du détail, Capacité d’analyse, Efficacité, Ouverture d’esprit, Curiosité, Force de proposition.
Qui sommes nous ?
Fondé en 1947 à Sète, le Groupe Arnal-Resotainer est aujourd'hui un acteur majeur dans l'exploitation de conteneurs maritimes à travers la gestion de dépôts, la création d'espaces de stockage et la production d'énergie verte.
Forts de leur expertise et de leur engagement, nos 430 collaborateurs contribuent chaque jour au développement de nos activités, renforçant ainsi notre présence nationale.
En croissance continue depuis sa création, le Groupe a su conserver un esprit familial grâce à ses valeurs de confiance et de solidarité.
Le Siège social regroupe l'ensemble des fonctions supports qui accompagnent le développement économique et humain de ses filiales. Rejoignez-nous et intégrez une équipe engagée et dynamique
-
Post-doc Position in Genomic
il y a 3 jours
Sète, France Ifremer Temps pleinLocated on two sites (Montpellier and Sète), the LEGPM team has access to numerous molecular biology platforms including a eDNA laboratory, and the Ifremer DATARMOR calculation server. **Main tasks** You will be tasked with assessing the relationships between the diversity of the holobiont at the base of phanerogam meadows and the associated prokaryotic...