Mechanizm shortcutów w Microsoft Fabric. Dostęp do danych z Dynamics 365 bez ich kopiowania.

Shortcut w Microsoft Fabric to odnośnik do danych znajdujących się w innym miejscu: w innym Lakehouse, w usłudze chmurowej albo w systemie źródłowym takim jak Dynamics 365. Dane pozostają tam, gdzie są, a hurtownia widzi je tak, jakby były jej własnymi tabelami. Nie ma kopiowania, nie ma synchronizacji, nie ma duplikatów. Na naszym webinarze o hurtowni danych 2.0 nazwaliśmy shortcuty jednym z ulubionych mechanizmów Fabric i w tym artykule wyjaśniamy dlaczego.

‍

Problem: kopiowanie danych to koszt i ryzyko

Klasyczna integracja danych opiera się na kopiowaniu. Dane z systemu ERP są cyklicznie eksportowane, przenoszone i ładowane do hurtowni, a po drodze rośnie lista problemów.

Duplikacja danych. Te same dane istnieją w dwóch, trzech, czasem pięciu miejscach: w systemie źródłowym, w warstwie pośredniej, w hurtowni, w plikach eksportu. Każda kopia zajmuje przestrzeń, za którą się płaci, i każda może żyć własnym życiem.

Opóźnienia i rozjazdy wersji. Kopia jest aktualna tylko w momencie jej wykonania. Między jednym a drugim ładowaniem hurtownia pokazuje wczorajszy stan świata, a gdy proces kopiowania zawiedzie, nikt nie wie, którą wersję danych właściwie ogląda. Dyskusja o tym, czyje liczby są prawdziwe, to w dużej mierze pochodna kopiowania danych.

Koszt utrzymania procesów. Każdy proces kopiujący trzeba zbudować, monitorować i naprawiać, gdy się wysypie. To praca, która nie tworzy żadnej wartości analitycznej, a jedynie przenosi dane z miejsca na miejsce.

Shortcuty eliminują ten problem u źródła: skoro dane nie są kopiowane, znika wszystko, co wynika z istnienia kopii.

‍

Czym są shortcuty w Microsoft Fabric

Najlepszą analogią jest skrót na pulpicie. Skrót do aplikacji nie jest aplikacją: zajmuje kilka bajtów, a mimo to po dwukliku uruchamia pełny program. Shortcut w Fabric działa identycznie wobec danych. W Lakehouse pojawia się tabela, którą można przeglądać, filtrować, łączyć w transformacjach i używać w modelu semantycznym, ale fizycznie dane pozostają w miejscu źródłowym. Fabric ich nie materializuje w hurtowni.

W praktyce wygląda to tak: podczas tworzenia shortcutu wskazujemy źródło i wybieramy tabele, na przykład faktury, transakcje, klientów i produkty. Po chwili tabele są widoczne w Lakehouse, oznaczone charakterystyczną ikoną z agrafką, która odróżnia je od tabel fizycznych. Po kliknięciu widzimy zwykły widok tabelaryczny, dokładnie taki, jakbyśmy przeglądali dane w arkuszu. Z perspektywy użytkownika nie ma żadnej różnicy między pracą na shortcucie a pracą na tabeli fizycznej.

Zmiana w danych źródłowych jest widoczna od razu, bo nie istnieje żadna kopia, która musiałaby się zsynchronizować.

‍

Fabric Link: natywna integracja z Dynamics 365

Dla firm pracujących na Microsoft Dynamics 365 najważniejszym zastosowaniem shortcutów jest Fabric Link: natywny mechanizm, który udostępnia tabele systemu ERP bezpośrednio w środowisku Fabric.

Konfiguracja odbywa się po stronie Dynamics 365 i jest pracą jednorazową. Po jej wykonaniu tabele źródłowe systemu, w tym dane finansowe i operacyjne z Dynamics 365 Finance and Operations, stają się dostępne jako źródło shortcutów. W Lakehouse wybieramy te, których potrzebujemy do analizy: w scenariuszu sprzedażowym będą to zwykle nagłówki faktur, linie transakcji, kartoteka klientów i kartoteka produktów.

Co ważne, w tym układzie nie budujemy żadnego procesu eksportu z ERP. Nie ma zrzutów do plików płaskich, nie ma harmonogramów kopiowania, nie ma pośrednich folderów. Hurtownia patrzy wprost na dane systemu, a gdy w Dynamics 365 pojawia się nowa faktura, analityka widzi ją bez żadnego dodatkowego procesu po drodze.

‍

Shortcuty do innych źródeł

Mechanizm nie ogranicza się do ekosystemu Microsoft. Shortcuty można tworzyć między innymi do:

Innych Lakehouse'ów w OneLake. To scenariusz wielospółkowy z naszego webinaru: druga spółka w grupie prowadzi własne środowisko danych, a my podłączamy się do jej Lakehouse'a shortcutem, bez dostępu do jej systemu ERP i bez przenoszenia danych. Każda spółka zarządza swoimi danymi u siebie, a analityka grupowa widzi całość.

Azure Data Lake Storage. Dane składowane w usłudze ADLS, na przykład wyniki innych procesów integracyjnych w organizacji, podłączamy bez ładowania ich do hurtowni.

Amazon S3 i Google Cloud Storage. Shortcuty działają również w poprzek chmur. Organizacja, która część danych trzyma poza platformą Microsoft, nie musi ich migrować, żeby objąć je wspólną analityką.

Wspólny mianownik wszystkich tych scenariuszy: jedna warstwa analityczna nad danymi, które fizycznie pozostają tam, gdzie są.

‍

Korzyści biznesowe

Jedna wersja prawdy. Skoro istnieje tylko jeden egzemplarz danych, nie ma sporu o to, która kopia jest aktualna. Raport, model semantyczny i system źródłowy patrzą na dokładnie te same dane.

Niższe koszty. Brak kopii to brak kosztów ich składowania oraz brak kosztów budowy i utrzymania procesów kopiujących. W dużych organizacjach, gdzie te same dane bywały powielane wielokrotnie na potrzeby różnych zespołów, oszczędność jest odczuwalna.

Prostsza architektura. Każdy proces kopiowania danych to element architektury, który może zawieść i który ktoś musi utrzymywać. Shortcut zastępuje cały taki proces jednym odnośnikiem skonfigurowanym raz.

Szybszy start projektu analitycznego. W klasycznym podejściu pierwsze tygodnie projektu pochłania budowa procesów zasilania hurtowni. Z shortcutami dane z Dynamics 365 są dostępne w Lakehouse w kilka minut od wskazania tabel i można od razu przejść do transformacji oraz modelowania, czyli do pracy, która tworzy realną wartość.

‍

Kiedy shortcut, a kiedy kopia danych

Shortcut jest domyślnym, najlepszym wyborem w większości scenariuszy analitycznych, ale są sytuacje, w których fizyczna kopia danych ma uzasadnienie.

Migawki historyczne. Jeśli potrzebujesz zamrozić stan danych na koniec okresu, na przykład do celów audytowych, niezależnie od późniejszych zmian w źródle, wykonaj kopię. Shortcut zawsze pokazuje stan bieżący.

Ciężkie transformacje na dużych zbiorach. Gdy dane wymagają rozbudowanego, wieloetapowego przetwarzania, wynik transformacji warto zmaterializować w Lakehouse jako tabelę fizyczną. W praktyce to naturalny układ: shortcuty służą jako warstwa surowa, a Dataflow ładuje przetworzone dane do tabel docelowych, tak jak w scenariuszu opisanym w naszym artykule o budowie hurtowni krok po kroku.

Źródła bez wsparcia dla shortcutów. Pliki płaskie spływające na Blob Storage czy dane z systemów spoza listy obsługiwanych źródeł zasilamy klasycznie, przez konektory w Dataflow. Fabric ma ich ponad sto, więc oba podejścia łatwo łączyć w jednej architekturze.

Dobór właściwej kombinacji shortcutów i tabel fizycznych to jedna z pierwszych decyzji architektonicznych w projekcie hurtowni. Zespół Power Center w ANEGIS projektuje takie architektury na co dzień, w szczególności dla firm pracujących na Dynamics 365. Jeśli chcecie sprawdzić, jak wyglądałoby to w Waszym środowisku, zapraszamy do kontaktu.

‍

‍

‍