Réaliser un traitement incrémentiel avec Spark Structured Streaming - Configurer des sources de données en temps réel pour le traitement incrémentiel
- Optimiser Delta Lake pour le traitement incrémentiel dans Azure Databricks
- Gérer les données tardives et les événements hors séquence dans le traitement incrémentiel
- Stratégies de surveillance et d’optimisation des performances pour le traitement incrémentiel dans Azure Databricks
- Exercice : ingestion et traitement en temps réel avec Delta Live Tables sur Azure Databricks
- Évaluation du module
Implémenter des architectures de streaming avec Delta Live Tables - Architectures pilotées par les événements avec Delta Live Tables
- Ingérer des données avec le streaming structuré
- Maintenir la cohérence et la fiabilité des données avec le streaming structuré
- Mettre à l’échelle les charges de streaming avec Delta Live Tables
- Exercice : pipeline de streaming de bout en bout avec Delta Live Tables
- Évaluation du module
Optimiser la performance avec Spark et Delta Live Tables - Optimiser la performance avec Spark et Delta Live Tables
- Réaliser une optimisation basée sur les coûts et l’optimisation des requêtes
- Utiliser la capture des changements de données (CDC)
- Utiliser l’autoscaling avancé
- Mettre en œuvre l’observabilité et les métriques de qualité des données
- Exercice : optimiser les pipelines de données pour de meilleures performances sur Azure Databricks
- Évaluation du module
Mettre en œuvre des workflows CI/CD dans Azure Databricks - Mettre en œuvre le contrôle de version et l’intégration avec Git
- Réaliser des tests unitaires et des tests d’intégration
- Gérer et configurer votre environnement
- Mettre en œuvre des stratégies de retour arrière et de progression
- Exercice : mise en œuvre de workflows CI/CD
- Évaluation du module
Automatiser les charges de travail avec Azure Databricks Jobs - Mettre en place la planification et l’automatisation des jobs
- Optimiser les workflows avec des paramètres
- Gérer les dépendances
- Mettre en œuvre la gestion des erreurs et des mécanismes de reprise
- Explorer les meilleures pratiques et recommandations
- Exercice : automatiser l’ingestion et le traitement des données
- Évaluation du module
Gérer la confidentialité et la gouvernance des données avec Azure Databricks - Mettre en œuvre des techniques de chiffrement des données dans Azure Databricks
- Gérer les contrôles d’accès dans Azure Databricks
- Mettre en place le masquage et l’anonymisation des données dans Azure Databricks
- Utiliser les cadres de conformité et le partage sécurisé des données dans Azure Databricks
- Utiliser la traçabilité (data lineage) et la gestion des métadonnées
- Automatiser la gouvernance dans Azure Databricks
- Exercice : mise en pratique de l’implémentation de Unity Catalog
- Évaluation du module
Utiliser les SQL Warehouses dans Azure Databricks - Prise en main des SQL Warehouses
- Créer des bases de données et des tables
- Créer des requêtes et des tableaux de bord
- Exercice : utiliser un SQL Warehouse dans Azure Databricks
- Évaluation du module
Exécuter des notebooks Azure Databricks avec Azure Data Factory - Comprendre les notebooks Azure Databricks et les pipelines
- Créer un service lié pour Azure Databricks
- Utiliser une activité Notebook dans un pipeline
- Utiliser des paramètres dans un notebook
- Exercice : exécuter un notebook Azure Databricks avec Azure Data Factory
- Évaluation du module
| 
