EDW #10: Data Marts

Dotychczas omówiliśmy sobie pięć z siedmiu warstw logicznych hurtowni danych. Dziś czas na warstwę szóstą: Data Marts (w skrócie: DMARTS albo DM).

Jest to ostatnia warstwa hurtowni, nad którą mamy pełną kontrolę. Dane w warstwie DMARTS pochodzą bezpośrednio z EDW, a więc z punktu widzenia jakości danych jest to warstwa równie solidna, jak bezpośrednio ją poprzedzająca EDW. Czytaj dalej EDW #10: Data Marts

EDW #9: stage => edw – działający przykład

Jak mawia Wieszcz, prędzej czy później nadchodzi taki czas, że trzeba albo zacząć srać, albo opuścić wychodek.

Dotychczas napisałem już osiem części poradnika o hurtowniach danych, a tak naprawdę żadnych konkretów. Dziś więc czas na pokazanie działającego, kompletnego przykładu.

Przykład będzie naprawdę prościutki. Głównie dlatego, że jestem leniwy, ale oficjalnie po to, żeby nie zanudzić Czytelników. O ile w ogóle jest ich więcej niż jeden. Czytaj dalej EDW #9: stage => edw – działający przykład

EDW #7: Landing & XREF

Ten wpis należy do serii wpisów poświęconych architekturze hurtowni danych.

Warstwy Landing oraz Cross Reference (w skrócie: XREF) idą zawsze w parze.

Dla dowolnej encji E w naszej hurtowni danych prawdziwe jest jedno z dwóch zdań:

  1. E pochodzi z dokładnie jednego systemu źródłowego
  2. E pochodzi z więcej niż jednego systemu źródłowego

Warstwy Landing oraz XREF są wykorzystywane w przypadku numer 2, a więc wówczas, kiedy jakaś encja w naszej hurtowni pochodzi w kilku różnych systemów źródłowych. Czytaj dalej EDW #7: Landing & XREF

EDW #6: Stage

Ten wpis należy do serii wpisów poświęconych architekturze hurtowni danych.

Tydzień temu omówiliśmy sobie warstwę systemów źródłowych, dziś czas na warstwę Stage.

Jak napisałem na samym początku tej serii, każda z warstw w DW pełni jakąś konkretną, dobrze zdefiniowaną funkcję. W przypadku Stage funkcją tą jest przechowywanie dokładnej kopii danych źródłowych, dzięki czemu możemy z nimi eksperymentować, kombinować, analizować pod kątem dalszej użyteczności w DW i tak dalej.

Począwszy od warstwy Stage aż po przedostatnią, szóstą warstwę (czyli Data Marts), wszystkie dane naszej DW będą przechowywane w rozmaitych tabelach w bazie (bądź w bazach) danych. Stąd też wymóg, żeby każdy system źródłowy był w stanie udostępnić nam dane w postaci tabelarycznej, bądź też „łatwo tabelaryzowalnej”, na przykład XML czy JSON. Czytaj dalej EDW #6: Stage

EDW #4: Siedem warstw

Ten wpis należy do serii wpisów poświęconych architekturze hurtowni danych.

Zgodnie z obietnicą, dziś zakaszemy rękawy i w końcu trochę sobie pobrudzimy ręce konkretami.

Hurtownia danych, którą opisuję w niniejszej serii, składa się z siedmiu warstw logicznych. Każda z nich pełni określoną rolę. W gotowym rozwiązaniu dane płyną od warstwy #1 do warstwy #7. Tak naprawdę celem tej serii jest pokazanie Czytelnikowi owych siedmiu warstw, logiki przepływu danych między nimi, sposobu ich implementowania, a także płynących z takiego podejścia zalet (oraz nielicznych wad). Czytaj dalej EDW #4: Siedem warstw