Implémenter l'ingénierie de l'IA générative avec Azure Databricks (DP-3028)

Référence : DP-3028

Durée : 1 jour

© AFI par Edgenda inc.

Ce cours traite de l’ingénierie de l’IA générative sur Azure Databricks, en utilisant Spark pour explorer, affiner, évaluer et intégrer des modèles de langage avancés. Il enseigne comment mettre en œuvre des techniques telles que la génération augmentée par récupération (RAG) et le raisonnement multi-étapes, ainsi que comment affiner des modèles de langage de grande taille pour des tâches spécifiques et évaluer leur performance. Les participants apprendront également les pratiques d’IA responsable pour le déploiement de solutions d’IA et la gestion des modèles en production grâce à LLMOps (Large Language Model Operations) sur Azure Databricks.

Public concerné

Ce cours s’adresse aux data scientists, ingénieurs en apprentissage automatique et autres praticiens de l’IA souhaitant développer des applications d’IA générative avec Azure Databricks. Il est destiné aux professionnels familiers avec les concepts fondamentaux de l’IA et la plateforme Azure Databricks.

Préalables

Avant de suivre ce cours, les participants doivent avoir :

• Une connaissance des fondamentaux d’Azure
• Les bases de la science des données et de l’apprentissage automatique
• Des compétences en programmation Python
• Une compréhension de Databricks
• Une connaissance des concepts d’IA générative

Objectifs

• Concevoir et développer des solutions d’IA générative avec Azure Databricks
• Exploiter les modèles de base et les grands modèles de langage (LLM) dans Databricks
• Affiner et déployer des modèles d’IA générative sur Azure Databricks
• Intégrer des capacités d’IA générative dans des applications métier
• Appliquer les meilleures pratiques en matière d’IA responsable et de gouvernance des données

Contenu

Introduction aux modèles de langage dans Azure Databricks

• Comprendre l’IA générative
• Comprendre les grands modèles de langage (LLM)
• Identifier les composants clés des applications LLM
• Utiliser les LLM pour des tâches de traitement du langage naturel (NLP)
• Exercice : Explorer les modèles de langage
• Évaluation du module

• Explorer les concepts principaux d’un flux de travail RAG
• Préparer vos données pour RAG
• Trouver des données pertinentes avec la recherche vectorielle
• Reclasser les résultats obtenus
• Exercice : Mettre en place RAG
• Évaluation du module

Mettre en œuvre le raisonnement multi-étapes dans Azure Databricks

• Qu’est-ce qu’un système de raisonnement multi-étapes ?
• Explorer LangChain
• Explorer LlamaIndex
• Explorer Haystack
• Explorer le framework DSPy
• Exercice : Mettre en œuvre un raisonnement multi-étapes avec LangChain
• Évaluation du module

• Qu’est-ce que l’affinage (fine-tuning) ?
• Préparer vos données pour l’affinage
• Affiner un modèle Azure OpenAI
• Exercice : Affiner un modèle Azure OpenAI
• Évaluation du module

• Comparer l’évaluation des LLM et des modèles traditionnels de ML
• Évaluer les LLM et les systèmes d’IA
• Évaluer les LLM avec des métriques standard
• Décrire le concept de LLM-as-a-judge pour l’évaluation
• Exercice : Évaluer un modèle Azure OpenAI
• Évaluation du module

• Qu’est-ce que l’IA responsable ?
• Identifier les risques
• Atténuer les problèmes
• Utiliser les principaux outils de sécurité pour protéger vos systèmes d’IA
• Exercice : Mettre en œuvre l’IA responsable
• Évaluation du module

• Passer du MLOps traditionnel à LLMOps
• Comprendre le déploiement des modèles
• Décrire les capacités de déploiement de MLflow
• Utiliser Unity Catalog pour gérer les modèles
• Exercice : Mettre en œuvre LLMOps
• Évaluation du module