actionbrowser.com
Die Modellierungstechnik erlaubt es, zielgerichtete Entwicklungen voranzutreiben bzw. die Time-to-Market zu verkürzen. Data Vault liefert damit eine Antwort auf viele Herausforderungen, mit denen DWH-Architekten und -Verantwortliche derzeit konfrontiert werden. Data Vault: Was ist das? Data Vault bietet eine hohe Flexibilität bei Erweiterungen, eine bitemporale, vollständige Historisierung der Daten und ermöglicht eine starke Parallelisierung von Datenladeprozessen. Wer sich mit dem Begriff des agilen Data Warehouse beschäftigt, landet schnell bei Data Vault. Das Besondere an der Technik ist, dass sie auf die Bedürfnisse von Unternehmen fokussiert ist, weil sie flexible, aufwandsarme Anpassungen eines Data Warehouse ermöglicht. Data Vault 2. 0 betrachtet den gesamten Entwicklungsprozess sowie die Architektur und besteht aus den Komponenten Methode (Implementierung), Architektur sowie Modell. Vorteil ist, dass dieser Ansatz alle Aspekte von Business Intelligence mit dem zugrunde liegendem Data Warehouse bei der Entwicklung berücksichtigt.
Die Verknüpfung der Daten kann nun an der Stelle erfolgen, an der es am meisten Nutzen stiftet. Das kann sogar erst im Self-Service-BI-Tool erfolgen. Dennoch empfiehlt es sich immer, die Schlüsselinformationen und deren Beziehungen ins Core Warehouse (in Abbildung 2 in den Data Vault) zu übernehmen. So ist die Integration der Daten sichergestellt und Abweichungen in den Schlüsselinformationen können frühzeitig festgestellt und beseitigt werden. Abbildung 2: Durch die verteilten Datenarchitekturen bei Data Vault müssen Schlüssel in mehreren Systemen gepflegt und dennoch verknüpfbar gehalten werden. Dieser Ansatz kann auch in ein klassisches Data Warehouse integriert werden, in dem die relevanten Geschäftsobjekte einen alternativen Schlüssel erhalten beziehungsweise der bestehende Schlüssel ersetzt wird. Es empfiehlt sich die Schlüsselinformationen und deren Beziehungen ins Core Warehouse (Data Vault) zu übernehmen. Neue Wege gehen und an die bisherigen anbinden. Big Data und Hadoop bieten neue Lösungsmöglichkeiten.
Data Vault führt zur Entkopplung von inkrementellen Datenmodell- und ETL-Änderungen, sodass bestehende Systembestandteile nicht verändert werden müssen. ETL-Ladenetze weisen hohe Abhängigkeiten und schlechte Ladezeiten auf, obwohl die Systeme technisch nicht voll ausgelastet sind? Data Vault ermöglicht eine massive Parallelisierung der Ladeprozesse und sehr gute Skalierbarkeit. Tipp: Das Seminar ist Bestandteil der Data Management Professional Zertifizierung! Dr. Hüsemann, Bodo Dr. Bodo Hüsemann ist seit 2005 als Experte für Analytics Systeme für die Informationsfabrik GmbH in Münster tätig. Er studierte Wirtschaftsinformatik und promovierte an der Universität Münster. Seit 2009 ist er Partner der Informationsfabrik und berät Unternehmen bei der Konzeption und Umsetzung komplexer Data Warehouse und Big Data Lösungen. Darüber hinaus führt er als erfahrener Trainer BI-Schulungen und Praxisworkshops für Unternehmen sowie für die Universität Münster durch. Seminarziel In diesem Seminar lernen die Teilnehmer die wesentlichen Grundbausteine des Data-Vault-Modells und die Hauptargumente für den Einsatz kennen.
B. bei der die Umsetzung von Business-Anforderungen. Zudem wird ein höherer Return on Investment erzielt und das DWH durch den Einsatz von Data Vault skalierbar. Unternehmen können außerdem alle Daten bis zu ihrem Quellsystem nachverfolgen. Von Data Vault profitieren besonders Organisationen, die große Datenvolumina in kurzer Zeit laden müssen, ihre BI-Applikationen agil entwickeln wollen oder ein vorgelagertes Core Data Warehouse innerhalb einer bestehenden Silo-Architektur aufbauen möchten. Vorteile in technischer Hinsicht: Data Vault unterstützt klassische Batch-Verarbeitung ebenso wie Near-Realtime-Loads. Dabei können Unternehmen auch unstrukturierte/NoSQL-Datenbanken anbinden. Im Vergleich zu klassischen DWH-Architekturen werden die Geschäftsregeln im Business Data Vault und in der Information Mart Layer eingesetzt. Damit sind sie möglichst nah beim End-User implementiert. Entsprechend werden Geschäftsregeln "spät" abgebildet und das DWH exakt mit den Daten beladen, wie sie im Quellsystem vorliegen.
Hubs, Links und Satelliten Anders als bei den traditionellen Konzepten (dritte Normalform 3NF) ordnet Data Vault die zum Objekt gehörenden Daten bei der Modellierung drei Gattungen zu, die klar voneinander getrennt abgelegt werden: Hubs beschreiben das Kerngeschäft, zum Beispiel Verkauf, Kunde, Produkt (Core Business Concept). Im Zentrum der Hub-Tabelle steht die Vertrags- beziehungsweise Kundennummer (Business Key). Der Hub setzt sich aus dem Business Key, einer Reihe von ID-/Hash-Schlüsseln (im Data Warehouse erzeugt), dem Zeitstempel (Ladedatum) und der Datensatzquelle zusammen. Er beinhaltet keinerlei deskriptive Daten. Durch Links werden Beziehungen zwischen Business Keys erzeugt. Jeder Eintrag in einem Link modelliert n-m Beziehungen einer willkürlichen Nummer von Hubs. Das garantiert die Flexibilität des Data Vaults, wenn sich die Business Logik der Quellsysteme ändert, zum Beispiel bei der Anpassung der Kordialität von Beziehungen. Auch Links umfassen keine beschreibenden Daten, sondern die Sequenz-IDs der Hubs, auf die sie sich beziehen, einer im Data Warehouse generierten Sequenz-ID, Ladedatum und Datensatzquelle.
JSON ist ein Format, in dem sich solche Daten gut darstellen und speichern lassen (siehe Abbildung 1). Bei der Übertragung auf ein relationales System müssen solche Sätze auf mehrere Tabellen aufgegliedert werden. Wenn sich nun die Struktur auch noch laufend verändert, weil – wie bei Twitter – kontextbezogen jeweils andere Daten gesammelt werden, entsteht viel Arbeit in der Normalisierung dieser Daten, ohne jedoch einen Nutzen zu liefern. Abbildung 1: JSON ist ein Format, in dem sich schwach strukturierte Daten mit Attributen und Unterstrukturen gut darstellen und speichern lassen. Formate wie JSON speichern in dieser polystrukturierten Form neben den Daten auch die Namen und Formate der einzelnen Attribute. Jetzt kann beim Lesen der Daten anhand dieser Metainformationen entschieden werden, mit welchen Attributen weiter gearbeitet wird. Entspannt auswerten. Neben JSON stehen mit AVRO und Parquet zwei weitere Formate für die Verarbeitung zur Verfügung. Bei Parquet handelt es sich sogar um ein spaltenbasiertes Speicherformat und ist damit ideal für viele Auswertungen.
Ey ich war damals grade 3, der erste Tag im Kindergarten, ich liebte die Schneeballschlachten an den kalten Wintertagen. Und ich hab mich auch gefreut wenn wieder Sommer war, ich habe jeden Tag geliebt ob Sonntag oder Wochentag. Und dann mit 6 Jahren, mein erster Schultag, die riesengroße Schultüte, allererster Rucksack. Und dank dem Mobbing hab ich wirklich jeden Tag gefleht, aber heute danke ich euch dafür denn ihr habt mich geprägt. Ich wurd zum Außenseiter aber auch die Zeit verging, ich hab mit der Zeit gelernt wie man sich Respekt verdient, ich war erst 13, der dicke junge, nichts gepackt, asozial, jeden Tag gesoffen weil es witzig war. Wir kamen uns cool vor, trafen uns vorm Kaufland, und weil man dann am nächsten Tag wieder zu spät aufstand, war es scheißegal, denn wir hatten uns, mit dem Kopf durch die Wand ohne jegliche Vernunft. (2x) Denn das alles hier bin ich, das ist alles was ich war, ich hab Garnichts zu bereuen auch wenn's manchmal assi war. Denn das bin ich und mir kann keiner sagen ich bins nich, das bin alles alles alles alles alles ich, das bin alles ich.
Seit Stunden fällt der Regen, wie Tränen auf dem Dach. Ein Meer von schwarzen Wolken macht deinen Tag zur Nacht. Der Wind heult immer lauter sein sehnsuchtsvolles Lied Weißt du eigentlich warum, das alles grad geschieht? Das alles bin ich, die dich vermisst, weil du alles für mich bist Es soll dir zeigen ich bin bei dir, bist du auch endlos fern von mir. Das alles bin ich, die dich vermisst und keine Sekunde dich vergisst. Das ist mein Trick dir ganz nah zu sein. Dann bist du niemals, niemals ganz allein. Hörst du's, dieses Donnern, es kommt jetzt immer näher. Und fühlst du dieses Beben, gib's zu, du atmest schwer. Jetzt schlägt es in dein Herz ein, ein Blitz der sich entlädt. Wehrlos siehst du zu, wie schnell die Erde sich jetzt dreht. Das alles bin ich, die dich vermisst, weil du alles für mich bist Es soll dir zeigen ich bin bei dir, bist du auch endlos fern von mir Das alles bin ich, die dich vermisst und keine Sekunde dich vergisst Das ist mein Trick, dir ganz nah zu sein. Niemals ganz allein.
Das alles bin ich, die dich vermisst, weil du alles für mich bist Es soll dir zeigen ich bin bei dir, bist du auch endlos fern von mir Das alles bin ich, die dich vermisst und keine Sekunde dich vergisst. Das ist mein Trick, dir ganz nah zu sein. Es ist meine Art, dir ganz nah zu sein. Dann bist du niemals, niemals ganz allein.
Dann bist du niemals, niemals ganz allein. (Dank an Sascha Heidmueller für den Text)