Data Engineering on Microsoft Azure

Vi gennemgår praktisk implementering af data storage muligheder i Azure og har fokus på ETL (extract, transform, load) processen, og at det i dag ofte giver mening at T og L bytter plads til ELT.


Samtidig går vi i dybden med sikkerhed og værktøjet Azure Data Factory, som kan få alle tjenesterne til at tale sammen ved at migrere og transformere data igennem en pipeline.


Følgende Azure storage services og analyseværktøjer er indeholdt i kurset:

• Til filbaseret/ustruktureret data er Azure Storage account et godt valgt i form af blob storage/datalake.
• Azure Synapse Analytics (tidligere SQL DW) er et Parallelt DW i skyen, men som navnet antyder, er analyse-delen nu dybt integreret i produktet i form af Spark pools.
• Via Azure Databricks (Apache Spark baseret analyse platform) sætter du et Spark cluster op og ser, hvordan man kan analysere data fra datakilderne via Python i en notebook.
• Live data kan sendes direkte til Azure Event Hub og analyseres med window funktioner i Stream Analytics.
• Azure Data Factory er værktøjet som kan få alle tjenesterne til at tale sammen ved at migrere og transformere data igennem en pipeline.
• Azure Synapse link er forbindelsen mellem Synapse Analytics og CosmosDB Analytical Store