Data Engineering mit Microsoft Azure

Hole mehr aus Deinen Daten

Daten sind das wertvollste Gut eines Unternehmens. Daher sollte es ein Hauptanliegen sein, dass auf sie schnell und sicher zugegriffen werden kann. An dieser Stelle kommt der Azure Data Engineer ins Spiel, der für die Integration, Umwandlung und Zusammenführung von Daten aus verschiedenen strukturierten und unstrukturierten Quellen in eine Struktur verantwortlich ist, die zum Aufbau von Analyselösungen verwendet wird.

In diesem Trainingsmarkt Special schauen wir uns gemeinsam die Vielzahl von Möglichkeiten innerhalb von Azure an, um diesen Aufgaben gerecht zu werden. Stets im Fokus dabei ist die Praxistauglichkeit, denn am Ende sollen Mehrwerte aus Unternehmensdaten geschaffen werden.

Was Du nach dem Training kannst:

Extrahieren und laden verschiedener Datenarten in den Data Lake
Umwandlung von Batch- und Echtzeit-Datenströmen
Serverless und Dedicated SQL Pools sowie Spark verstehen und nutzen
Orchestrierung von Datenbewegungen mit Datenpipelines und Zeitplänen
Aufbau einer modernen Plattformarchitektur mit Azure Synapse Analytics

4.600,00 €*

5.474,00 € inkl. MwSt.

Schulungsdauer:

3 Tag(e)

Einführung Modern Data Warehousing mit Azure Synapse Analytics

Lektion 1: Einführung Modern Data Warehousing

Architektur
Komponenten
Klassisches DWH vs. Modern Stack

Lektion 2: Einführung Azure Synapse Analytics

Architektur
Konzepte
Komponenten

Lektion 3: Azure Synapse Analytics Arbeitsbereich

Azure Synapse Studio
Data Hub
Develop Hub
Integrate Hub
Monitor Hub
Manage Hub

Azure Storage Account / Data Lake Storage Gen 2

Lektion 1: Einführung Speichermöglichkeiten & Datenarten

Azure Storage Möglichkeiten
Daten klassifizieren
Transaktionen: OLTP vs. OLAP

Lektion 2: Data Lake Schichtenkonzept

Schichtenstruktur
Delta Lake

Synapse SQL & Azure SQL

Lektion 1: Azure SQL Optionen

Azure SQL
SQL auf VM
SQL Server Managed Instance
Synapse SQL

Lektion 2: Serverless Pools

Was sind Serverless Pools?
Serverless Pools erstellen
Serverless Pools verwenden
Serverless Pools abfragen

Lektion 3: Dedicated Pools

Was sind Dedicated Pools?
Dedicated Pools Architektur
Dedicated Pools erstellen
Dedicated Pools verwenden
Dedicated Pools abfragen

Lektion 4: Monitoring & Performance Optimierung

Serverless Performance Monitoring
Dedicated Performance Monitoring
Serverless Optimeriungen
Dedicated Optimerungen
Cheat Sheet
Use Cases

Synapse Spark & Apache Spark

Lektion 1: Spark Architektur (Hive Catalog, Delta Lake)

Was ist Apache Spark?
Spark Pool Architecture
Spark Anwendungsszenarien
Spark Pools erstellen

Lektion 2: PySpark & Dataframes

Spark Notebooks
Python Package Management
Was ist PySpark?
Was sind Dataframes?
Azure SQL Connectors

Lektion 3: Spark SQL

Was ist Spark SQL?

Lektion 4: Monitoring & Performance Optimierung

Monitoring Apache Spark Applications
Monitoring Apache Spark Pools
Optimiere Apache Spark Delta Lake
Auto-Skalierung
Intelligentes-Caching
Hive Metastore

Synapse Pipelines

Lektion 1: Einführung Orchestrierung mit Synapse Pipelines

Pipelines und Aktivitäten
Pipelineparameter und -variablen
Datasets

Lektion 2: Copy Data Aktivität

Datenquellen konfigurieren
Senken konfigurieren
Weitere Optionen

Lektion 3: Data Flows

Was sind Data Flows?
Data Flows erstellen
Data Flow Aktivitäten
Data Flows optimieren

Lektion 4: Pipeline Monitoring und Performance

Pipelineausführungen überwachen

Synapse Management

Lektion 1: Linked Services

Welche Linked Services gibt es
Best Practices bei der Erstellung und Konfiguration von Linked Services

Lektion 2: Integration Runtime

Azure Integration Runtime
Self-Hosted Integration Runtime

Lektion 3: Netzwerk & Sicherheit

Synapse Private Link
Authentifizierung
Azure Key Vault

Lektion 4: Berechtigungen & Entwicklungsprozess

Synapse Arbeitsbereich Berechtigungen
Linked Service Berechtigungen
Entwickeln mit Azure Dev Ops

Lektion 5: Kosten & Kosten Management

Kosten Übersicht
Kosten einschätzen

Lektion 6: Azure Synapse Link

Azure Synapse Link für Dataverse
Azure Synapse Link für Cosmos DB

Zielgruppe

Personen, die im Unternehmen für die Architektur des Datenflusses verantwortlich sind und eine moderne Datenplattform aufbauen oder eine bestehende optimieren möchten.

Empfohlene Prüfung

Täglich von 09:00 - ca. 16:30 Uhr

Mittagspause von 12:30 - 13:30 Uhr
Eine Bio-Break am Vor- und Nachmittag

Was ist eine Firmenschulung?

Exklusiv, individuell und auf die Bedürfnisse Deines Teams angepasst.

Ein Preis für bis zu 8 TN
Individuelle Gestaltung der Agenda
Möglichkeit zur Besprechung individueller Fragestellungen und Use-Cases
Durchführung: Live-Online via Microsoft Teams
Optional: Durchführung in unserem Schulungszentrum in Osnabrück oder in Deinem Hause, weitere Teilnehmer, Schulungsunterlagen und Hands-on LABs gegen Aufpreis möglich