Data Engineering mit Microsoft Azure

Hole mehr aus Deinen Daten

Daten sind das wertvollste Gut eines Unternehmens. Daher sollte es ein Hauptanliegen sein, dass auf sie schnell und sicher zugegriffen werden kann. An dieser Stelle kommt der Azure Data Engineer ins Spiel, der für die Integration, Umwandlung und Zusammenführung von Daten aus verschiedenen strukturierten und unstrukturierten Quellen in eine Struktur verantwortlich ist, die zum Aufbau von Analyselösungen verwendet wird. 

In diesem Trainingsmarkt Special schauen wir uns gemeinsam die Vielzahl von Möglichkeiten innerhalb von Azure an, um diesen Aufgaben gerecht zu werden. Stets im Fokus dabei ist die Praxistauglichkeit, denn am Ende sollen Mehrwerte aus Unternehmensdaten geschaffen werden.

 

Was Du nach dem Training kannst:

  • Extrahieren und laden verschiedener Datenarten in den Data Lake
  • Umwandlung von Batch- und Echtzeit-Datenströmen
  • Serverless und Dedicated SQL Pools sowie Spark verstehen und nutzen
  • Orchestrierung von Datenbewegungen mit Datenpipelines und Zeitplänen
  • Aufbau einer modernen Plattformarchitektur mit Azure Synapse Analytics

Du hast noch Fragen zum Training? Dann vereinbare jetzt einen kostenlosen Beratungstermin:

Du brauchst ein Angebot?​ Gerne erstellen wir dir ein individuelles Angebot:

Angebot anfordern
3.990,00 € *

4.748,10 € inkl. MwSt. pro Schulung

Schulungsdauer

3 Tag(e)


In der Firmenschulung enthalten:
  • Ein Preis für bis zu 8 TN
  • Individuelle Gestaltung der Agenda
  • Möglichkeit zur Besprechung individueller Fragestellungen und Use-Cases
  • Live-Online oder in unserem Schulungszentrum in Osnabrück
  • Optional: Weitere Teilnehmer, vor Ort Schulung, Schulungsunterlagen, Hands-on LABs und Aufzeichnung zur internen Verwendung gegen Aufpreis möglich
Einführung Modern Data Warehousing mit Azure Synapse Analytics Lektion 1: Einführung Modern... mehr

Einführung Modern Data Warehousing mit Azure Synapse Analytics

Lektion 1: Einführung Modern Data Warehousing

  • Architektur
  • Komponenten
  • Klassisches DWH vs. Modern Stack

Lektion 2: Einführung Azure Synapse Analytics

  • Architektur
  • Konzepte
  • Komponenten

Lektion 3: Azure Synapse Analytics Arbeitsbereich

  • Azure Synapse Studio
  • Data Hub
  • Develop Hub
  • Integrate Hub
  • Monitor Hub
  • Manage Hub

Azure Storage Account / Data Lake Storage Gen 2

Lektion 1: Einführung Speichermöglichkeiten & Datenarten

  • Azure Storage Möglichkeiten
  • Daten klassifizieren
  • Transaktionen: OLTP vs. OLAP

Lektion 2: Data Lake Schichtenkonzept

  • Schichtenstruktur
  • Delta Lake

Synapse SQL & Azure SQL

Lektion 1: Azure SQL Optionen

  • Azure SQL
  • SQL auf VM
  • SQL Server Managed Instance
  • Synapse SQL

Lektion 2: Serverless Pools

  • Was sind Serverless Pools?
  • Serverless Pools erstellen
  • Serverless Pools verwenden
  • Serverless Pools abfragen

Lektion 3: Dedicated Pools

  • Was sind Dedicated Pools?
  • Dedicated Pools Architektur
  • Dedicated Pools erstellen
  • Dedicated Pools verwenden
  • Dedicated Pools abfragen

Lektion 4: Monitoring & Performance Optimierung

  • Serverless Performance Monitoring
  • Dedicated Performance Monitoring
  • Serverless Optimeriungen
  • Dedicated Optimerungen
  • Cheat Sheet
  • Use Cases

Synapse Spark & Apache Spark

Lektion 1: Spark Architektur (Hive Catalog, Delta Lake)

  • Was ist Apache Spark?
  • Spark Pool Architecture
  • Spark Anwendungsszenarien
  • Spark Pools erstellen

Lektion 2: PySpark & Dataframes

  • Spark Notebooks
  • Python Package Management
  • Was ist PySpark?
  • Was sind Dataframes?
  • Azure SQL Connectors

Lektion 3: Spark SQL

  • Was ist Spark SQL?

Lektion 4: Monitoring & Performance Optimierung

  • Monitoring Apache Spark Applications
  • Monitoring Apache Spark Pools
  • Optimiere Apache Spark Delta Lake
  • Auto-Skalierung
  • Intelligentes-Caching
  • Hive Metastore

Synapse Pipelines

Lektion 1: Einführung Orchestrierung mit Synapse Pipelines

  • Pipelines und Aktivitäten
  • Pipelineparameter und -variablen
  • Datasets

Lektion 2: Copy Data Aktivität

  • Datenquellen konfigurieren
  • Senken konfigurieren
  • Weitere Optionen

Lektion 3: Data Flows

  • Was sind Data Flows?
  • Data Flows erstellen
  • Data Flow Aktivitäten
  • Data Flows optimieren

Lektion 4: Pipeline Monitoring und Performance

  • Pipelineausführungen überwachen

Synapse Management

Lektion 1: Linked Services

  • Welche Linked Services gibt es
  • Best Practices bei der Erstellung und Konfiguration von Linked Services

Lektion 2: Integration Runtime

  • Azure Integration Runtime
  • Self-Hosted Integration Runtime

Lektion 3: Netzwerk & Sicherheit

  • Synapse Private Link
  • Authentifizierung
  • Azure Key Vault

Lektion 4: Berechtigungen & Entwicklungsprozess

  • Synapse Arbeitsbereich Berechtigungen
  • Linked Service Berechtigungen
  • Entwickeln mit Azure Dev Ops

Lektion 5: Kosten & Kosten Management

  • Kosten Übersicht
  • Kosten einschätzen

Lektion 6: Azure Synapse Link

  • Azure Synapse Link für Dataverse
  • Azure Synapse Link für Cosmos DB
Personen, die im Unternehmen für die Architektur des Datenflusses verantwortlich sind und eine... mehr

Personen, die im Unternehmen für die Architektur des Datenflusses verantwortlich sind und eine moderne Datenplattform aufbauen oder eine bestehende optimieren möchten.

Täglich von 09:00 - ca. 16:30 Uhr Mittagspause von 12:30 - 13:30 Uhr Eine Bio-Break am Vor-... mehr

Täglich von 09:00 - ca. 16:30 Uhr

Mittagspause von 12:30 - 13:30 Uhr
Eine Bio-Break am Vor- und Nachmittag