edw

EDW #10: Data Marts

Dotychczas omówiliśmy sobie pięć z siedmiu warstw logicznych hurtowni danych. Dziś czas na warstwę szóstą: Data Marts (w skrócie: DMARTS albo DM).

Jest to ostatnia warstwa hurtowni, nad którą mamy pełną kontrolę. Dane w warstwie DMARTS pochodzą bezpośrednio z EDW, a więc z punktu widzenia jakości danych jest to warstwa równie solidna, jak bezpośrednio ją poprzedzająca EDW.

EDW #7: Landing & XREF

Ten wpis należy do serii wpisów poświęconych architekturze hurtowni danych.

Warstwy Landing oraz Cross Reference (w skrócie: XREF) idą zawsze w parze.

Dla dowolnej encji E w naszej hurtowni danych prawdziwe jest jedno z dwóch zdań:

  1. E pochodzi z dokładnie jednego systemu źródłowego
  2. E pochodzi z więcej niż jednego systemu źródłowego

Warstwy Landing oraz XREF są wykorzystywane w przypadku numer 2, a więc wówczas, kiedy jakaś encja w naszej hurtowni pochodzi w kilku różnych systemów źródłowych.

EDW #6: Stage

Ten wpis należy do serii wpisów poświęconych architekturze hurtowni danych.

Tydzień temu omówiliśmy sobie warstwę systemów źródłowych, dziś czas na warstwę Stage.

Jak napisałem na samym początku tej serii, każda z warstw w DW pełni jakąś konkretną, dobrze zdefiniowaną funkcję. W przypadku Stage funkcją tą jest przechowywanie dokładnej kopii danych źródłowych, dzięki czemu możemy z nimi eksperymentować, kombinować, analizować pod kątem dalszej użyteczności w DW i tak dalej.

Począwszy od warstwy Stage aż po przedostatnią, szóstą warstwę (czyli Data Marts), wszystkie dane naszej DW będą przechowywane w rozmaitych tabelach w bazie (bądź w bazach) danych. Stąd też wymóg, żeby każdy system źródłowy był w stanie udostępnić nam dane w postaci tabelarycznej, bądź też „łatwo tabelaryzowalnej”, na przykład XML czy JSON.

EDW #4: Siedem warstw

Ten wpis należy do serii wpisów poświęconych architekturze hurtowni danych.

Zgodnie z obietnicą, dziś zakaszemy rękawy i w końcu trochę sobie pobrudzimy ręce konkretami.

Hurtownia danych, którą opisuję w niniejszej serii, składa się z siedmiu warstw logicznych. Każda z nich pełni określoną rolę. W gotowym rozwiązaniu dane płyną od warstwy #1 do warstwy #7. Tak naprawdę celem tej serii jest pokazanie Czytelnikowi owych siedmiu warstw, logiki przepływu danych między nimi, sposobu ich implementowania, a także płynących z takiego podejścia zalet (oraz nielicznych wad).

EDW #3: Mierz siły na wymiary

Ten wpis należy do serii wpisów poświęconych architekturze hurtowni danych.

Tytuł dzisiejszego wpisu ukradłem Komandorowi McPig (temu z Muppet Show). Dziś opowiemy sobie pokrótce o jednej z najważniejszych kwestii, którą należy wziąć na warsztat we wczesnej fazie projektowania jakiejkolwiek hurtowni danych: ujednoliceniu wymiarów.

Zagadnienie to było już poruszane na tym blogu wcześniej, ale nie szkodzi. Ważne tematy trzeba utrwalać.

Uroki irlandzkiej pogody

Jak mówi stare irlandzkie powiedzenie, jeżeli nie widać gór, to znaczy, że pada, a jeżeli góry widać, to znaczy, że będzie padać.

Albo, jak mawia mój szwagier, „dawno nie padało, pojutrze będzie dwa dni…”

Wpisy o pogodzie są nudne – no bo ileż można, nieprawdaż. Tym bardziej, że mieszkając w Irlandii w zasadzie nie widzę niczego poza deszczem, chmurami i ogólnie pojętą szarzyzną. Prawda?

Prawda. Z tym, że – już chyba na tym blogu tradycyjnie – gówno prawda. Lokalna pogoda potrafi zaskoczyć nie tylko polskich drogowców, ale nawet autochtonów.

EDW #2: Słowniczek

Ten wpis należy do serii wpisów poświęconych architekturze hurtowni danych.

Zanim przejdziemy do konkretów, najpierw przedstawię kilka podstawowych definicji, żebyśmy mówili wspólnym językiem.

Uwaga #1: Definicje są pisane moim własnym widzimisię (nie będę ściągał z Wiki), jeżeli widzisz jakieś braki lub niedociągnięcia, komentuj śmiało, poprawię.

Uwaga #2: poniższa lista jest stworzona ad-hoc – będę ją (być może) rozbudowywał w miarę potrzeb. Być może nawet kiedyś ułożę ją alfabetycznie… Poniższe definicje to nie jakieś kompendium wiedzy, pochodzą z różnych podwórek, dotyczą różnych zagadnień

EDW #1: Wstęp

Ten wpis otwiera serię poświęconą zagadnieniu wystarczająco interesującemu, żeby poświęcić mu kilka wpisów, a zarazem wystarczająco niszowemu, żeby nadawało się na bloga xpil.eu.

W odróżnieniu od poprzednich serii, które pisałem od przypadku do przypadku i od kaprysu do kaprysu, tym razem planuję solidnie przyłożyć się do zagadnienia i stworzyć coś od deski do deski, porządnie i bez „iścia” na łatwiznę. Nie gwarantuję, że się uda, ani że będzie ciekawie lub mądrze. Ale postaram się postarać 🙂

Ankieta www: wyniki

Uruchomiłem niedawno wśród swoich Czytelników krótką ankietę na temat adresów www. Pytanie brzmiało: czy adres bloga powinien zaczynać się od www, czy nie?

W ciągu zaledwie miesiąca trzech dni w ankiecie wziął udział ogromny tłum ludzi! Głos oddało aż 15 osób! To oznacza jakieś pół człowieka pięć człowieków dziennie!