Ingénierie des caractéristiques et magasins de caractéristiques pour l'IA et le ML

Aperçu

This course focuses on preparing AI-ready data through feature engineering, feature management, and pipeline automation. You will learn how data engineers create high-quality features, organise reusable feature assets, and automate workflows that support scalable machine learning systems.

You will begin by exploring the principles of feature engineering and learn how to transform raw datasets into meaningful features for machine learning. Through practical exercises, you will create numerical, categorical, and derived features while applying techniques such as scaling, encoding, and skewness handling to improve model performance.

Next, you will discover how Feature Stores enable consistent and reusable feature management across AI projects. You will design feature table schemas, manage structured and text-based features, generate embeddings, and store AI-ready features in Databricks for efficient reuse across multiple machine learning workflows.

You will also learn how machine learning workflows consume engineered data by preparing training, validation, and test datasets, while using MLflow to track datasets, experiments, and model development for reproducibility and collaboration. Finally, you will automate end-to-end AI/ML data pipelines using Databricks Jobs.

You will structure notebook-based workflows into production pipelines, schedule and monitor multi-task jobs, and orchestrate reliable data engineering processes that support enterprise-scale AI applications. By the end of this course, you will be able to:

- Engineer high-quality features for machine learning applications. - Build and manage reusable Feature Stores in Databricks. - Prepare and track ML datasets using MLflow. - Automate AI/ML workflows using Databricks Jobs. - Develop scalable data pipelines for production AI systems.

Designed for data engineers, machine learning engineers, data scientists, and AI professionals, this course equips you with the practical skills to build feature-driven, automated, and production-ready AI/ML data pipelines using modern data engineering practices.

Programme

• Ingénierie de Caractéristiques pour la Prédiction ML
Maîtrisez le processus de transformation de données organisées en caractéristiques prêtes pour l'apprentissage automatique pour la modélisation prédictive. Ce module introduit les fondamentaux de l'ingénierie de caractéristiques, y compris la création de caractéristiques numériques, catégorielles, de récence et de durée, tout en préparant les données pour les flux de travail ML en aval. À travers des exercices pratiques, vous appliquerez des techniques telles que la mise à l'échelle, le codage et la gestion des asymétries pour construire des ensembles de caractéristiques de haute qualité qui améliorent la performance et la fiabilité du modèle.
• Magasins de Caractéristiques et Caractéristiques Prêtes pour l'IA
Plongez dans les tables de caractéristiques et les concepts modernes de Magasin de Caractéristiques pour gérer les fonctionnalités d'apprentissage automatique à grande échelle. Ce module explore la conception de schémas de tables de caractéristiques pour les données structurées et textuelles, la création de tables de caractéristiques dans Databricks, et l'utilisation de caractéristiques textuelles et d'embeddings LLM. À travers des exercices pratiques, vous extrairez des caractéristiques textuelles, stockerez des embeddings dans des tables Delta, et examinerez les magasins de caractéristiques en ligne et hors ligne pour des applications IA/ML évolutives.
• Fourniture de Données aux Flux de Travail ML
Explorez comment les ingénieurs de données préparent et livrent des ensembles de données fiables pour les flux de travail d'apprentissage automatique. Ce module se concentre sur la création d'ensembles de données d'entraînement, de validation et de test, le suivi des ensembles de données de caractéristiques avec MLflow, et le soutien à la collaboration entre les équipes d'ingénierie des données et ML. À travers des exercices pratiques, vous bâtirez des pipelines de données reproductibles qui soutiennent le développement et le déploiement efficace de modèles.
• Automatisation et Orchestration de Pipelines
Découvrez comment automatiser, orchestrer et gérer des pipelines de données AI/ML de bout en bout à l'aide de Databricks. Ce module couvre la structuration de projets de données, la création de flux de travail multitâches, la planification et le suivi de l'exécution des pipelines, et l'exploration d'outils d'orchestration tels que Databricks Workflows, Airflow et dbt. À travers des exercices pratiques, vous développerez des pipelines fiables et automatisés pour des solutions AI/ML évolutives et prêtes pour la production.

Enseigné par

Edureka

Matières

Artificial Intelligence