Architecte Informatique Pyspark

Contrainte forte du projetFort enjeux metier
Les livrables sontPackage pyspark
Dictionnaire / catalog de données
Model de données tabulaireCompétences techniquesPYTHON / PYSPARK / SPARK - Expert - Impératif
Databricks/ datafactory/ azure devops - Expert - Impératif
Azure Analysis Services - Expert - Impératif
Integration GIT - Expert - ImportantConnaissances linguistiquesFrançais Courant (Impératif)Description détailléeL'equipe Datafinance utilise actuellement une architecture basée sur Databricks, Azure Blob Storage, Azure Data Factory et Azure Analysis Services pour traiter et analyser ses données financières. Nous cherchons à optimiser les processus de traitement de ces données, en particulier le rafraîchissement des données, pour améliorer la performance et la qualité des analyses.
Dans ce cadre, nous recherchons un expert en BI et Data pour une mission de 3 mois. L'objectif est d'optimiser le Temps de traitement et de rafraichissement des données.
2. Objectifs de la mission
**L'expert BI et Data sera chargé de**:
Optimiser le traitement des données du projet Data finance, en se concentrant principalement sur le processus de rafraîchissement des données entra la zone gold et le cube de données.
Optimiser l'utilisation de Azure Analysis Services (modèle Tabulaire) pour les rapports et les analyses.
3. Technologies utilisées
**L'expert devra maîtriser les technologies suivantes**:
Databricks (en particulier avec PySpark).
Azure Analysis Services (modèle Tabulaire).
SQL.
Git et Azure DevOps pour la gestion des versions et l'intégration continue.
4. Compétences requises
**Maîtrise de PySpark**: pour le traitement et l'optimisation des données dans Databricks.
**Expertise en modélisation de données**: capacité à concevoir et optimiser des modèles de données pour améliorer la performance et la gestion des données financières.
**Maîtrise du modèle Tabulaire dans Azure Analysis Services**: pour optimiser le rafraîchissement des données et améliorer les performances des cubes.
Bonne compétences en SQL
5. Livrables attendus
**Les livrables de la mission incluent**:
Mise en ?uvre des optimisations dans Databricks et Azure Analysis Services.
Documentation détaillée des modifications apportées et des bonnes pratiques mises en place.
Transfert de connaissances aux équipes internes pour garantir une gestion continue des processus optimisés.
Contrainte forte du projetFort enjeux metier
Les livrables sontPackage pyspark
Dictionnaire / catalog de données
Model de données tabulaireCompétences techniquesPYTHON / PYSPARK / SPARK - Expert - Impératif
Databricks/ datafactory/ azure devops - Expert - Impératif
Azure Analysis Services - Expert - Impératif
Integration GIT - Expert - ImportantConnaissances linguistiquesFrançais Courant (Impératif)Description détailléeL'equipe Datafinance utilise actuellement une architecture basée sur Databricks, Azure Blob Storage, Azure Data Factory et Azure Analysis Services pour traiter et analyser ses données financières. Nous cherchons à optimiser les processus de traitement de ces données, en particulier le rafraîchissement des données, pour améliorer la performance et la qualité des analyses.
Dans ce cadre, nous recherchons un expert en BI et Data pour une mission de 3 mois. L'objectif est d'optimiser le Temps de traitement et de rafraichissement des données.
2. Objectifs de la mission
**L'expert BI et Data sera chargé de**:
Optimiser le traitement des données du projet Data finance, en se concentrant principalement sur le processus de rafraîchissement des données entra la zone gold et le cube de données.
Optimiser l'utilisation de Azure Analysis Services (modèle Tabulaire) pour les rapports et les analyses.
3. Technologies utilisées
**L'expert devra maîtriser les technologies suivantes**:
Databricks (en particulier avec PySpark).
Azure Analysis Services (modèle Tabulaire).
SQL.
Git et Azure DevOps pour la gestion des versions et l'intégration continue.
4. Compétences requises
**Maîtrise de PySpark**: pour le traitement et l'optimisation des données dans Databricks.
**Expertise en modélisation de données**: capacité à concevoir et optimiser des modèles de données pour améliorer la performance et la gestion des données financières.
**Maîtrise du modèle Tabulaire dans Azure Analysis Services**: pour optimiser le rafraîchissement des données et améliorer les performances des cubes.
Bonne compétences en SQL
5. Livrables attendus
**Les livrables de la mission incluent**:
Mise en ?uvre des optimisations dans Databricks et Azure Analysis Services.
Documentation détaillée des modifications apportées et des bonnes pratiques mises en place.
Transfert de connaissances aux équipes internes pour garantir une gestion continue des processus optimisés.