Headerbild

eBizTalk - Berichten, Unterhalten, Weiterbilden

Ob Branchendiskurs, Fachartikel oder ein Blick hinter die Unternehmenskulissen: eBizTalk ist die Plattform, die uns auffordert, unsere Leser über Events und Projekte auf dem Laufenden zu halten. Und uns gegenseitig natürlich auch.

Wie richte ich mir einen Azure Data Lake ein?

Veröffentlicht am 04.03.2021 von Ireen Raue , Data Lake

Im unteren Artikel Überblick Azure Data Lake und Zonen Konzept gab es einen theoretischen Überblick zum DataLake und was man bei der Konzeption beachten sollte. Mit diesem Artikel möchte ich nun auf die konkrete Umsetzung und Einrichtung eines Data Lakes über das Azure Portal eingehen.

Storage Account

Als erstes muss ein Storage Account angelegt werden. Um den Azure Data Lake Storage Gen2 verwenden zu können, muss auf der Advanced Seite Hierarchical namespace auf Enabled gesetzt werden. Diese Einstellung ist nur bei der Erstellung des Storage Accounts möglich und später nicht änderbar. Dadurch können Objekte/Dateien in einer Hierarchie von Verzeichnissen und geschachtelten Unterverzeichnissen auf gleiche Weise wie beim Dateisystem auf dem Computer organisiert werden. Ohne den Hierarchischen Namespace werden die Daten in Blobs abgelegt und können nur über die Benamung strukturiert werden.

Weitere wichtige Einstellungen, über die man sich an dieser Stelle Gedanken machen sollte, sind welcher Storage- oder Replikationstyp verwendet werden soll und die Einstellung des Access Tier Levels. All diese Dinge sind entscheidend für die späteren Kosten des Data Lakes.

Diese Einstellungen sind aber auch nach der Anlage des Storage Accounts noch änderbar.

Anschauen kann man sich die Kostenaufschlüsselung hier: https://azure.microsoft.com/de-de/pricing/details/storage/data-lake/

Danach kann innerhalb dieses Storage Accounts der Azure Data Lake Storage benutzt werden.

Azure Storage

Als Storage stehen dann 4 Optionen zur Verfügung. Um die hierarchische Struktur nutzen zu können, muss unter Container ein Element angelegt werden.

Innerhalb des Containers wird dann das Dateisystem aufgebaut.

Azure Storage Explorer

Sehr gut eignet sich an dieser Stelle der Azure Storage Explorer. Das ist ein kostenloses Tool, mit dem man verschiedene Storage Services managen kann. Ein Download dieses Tools ist über folgenden Link möglich: link.

Als erstes muss man sich mit dem Azure Konto anmelden und bekommt dann alle Storage Objekte innerhalb seiner Subscriptions angezeigt. Es ist aber auch möglich sich mit einzelnen Azure Ressourcen zu verknüpfen.