azure-data-lake-storage

Hands-on Azure Databricks learning project — medallion pipeline, Lakeflow SDP, Delta Lake, Unity Catalog security, SQL analytics and Jobs. Built end-to-end on Azure with real executed notebooks.

Greetings and welcome to my profile.

Guide n° 2 de la série Azure Data Factory : pipeline piloté par un manifeste qui audite chaque facture avec la grille tarifaire (Validation, Jusque, Recherche, Fenêtre, Basculer), porte qualité OK/WARN/CRITICAL, archive binaire et suppression contrôlée. Guide PDF et données inclus.

Data Migration with Azure Synapse, PySpark, and Delta Tables

Pipeline híbrida de redundância com Azure Data Factory, SQL Server local, Self-hosted Integration Runtime e Azure Data Lake Storage Gen2.

An automated Bronze → Silver → Gold ETL pipeline for ATP tennis data. Built with Databricks, PySpark, and Delta Lake. Features data quality checks, partitioning, and analytics-ready Fact/Dimension tables.

Terraform module: terraform-azurerm-storage-data-lake-gen2-filesystem

Azure Batch ELT Data Engineering Pipeline using Azure Data Factory, Azure Databricks, PySpark, SQL, and Azure Data Lake Storage Gen2.

Microsoft Fabric based Bing News live Data Stream Ingestion and Sentiment Analysis

Project in the context of Data Engineering self-learning

Guide n° 1 de la série Azure Data Factory : pipeline de production avec découverte automatique des fichiers, ingestion parallèle par pipeline enfant, contrôle qualité Spark avec quarantaine, déclenchement par événement de stockage et identité managée. Guide PDF et données inclus.

Guide n° 3 de la série Azure Data Factory : déclencheur à fenêtre bascule qui rattrape seul le passé, API publique des jours fériés avec secours local (try / catch), dédoublonnage par Existe et facturation au bon tarif. Guide PDF et données inclus.

Terraform module: terraform-azurerm-storage-data-lake-gen2-path

Comprehensive data engineering solution using Azure platform tools such as Data Factory and Databricks, completed with analysis and dashboard in Power BI.

Data ingestion and transformation pipeline for AirBnB using Azure Data Factory, Synapse, CosmosDB, and ADLS for automated CDC and analytical reporting.

End-to-end Azure retail data engineering pipeline using Azure SQL, Data Factory, ADLS Gen2, Databricks/PySpark, and Power BI with a Bronze-Silver-Gold medallion architecture.

Discover an Azure Function App powered by C# and .NET, seamlessly processing Azure Service Bus messages, storing data in Azure Data Lake, with Dead Letter Queue support

AWSベースのデータ変換パイプラインを理解するためのAzure学習環境