Dataflow w Fabric vs Power Query. Co zyskujesz, przechodząc na wyższy poziom transformacji danych.

Dataflow w Microsoft Fabric to narzędzie do transformacji danych oparte na tym samym silniku i interfejsie co Power Query, ale rozszerzone o możliwości, których Power Query nie ma: ładowanie wyników do Lakehouse, harmonogramy odświeżania, orkiestrację w pipeline'ach, kontrolę wersji i wsparcie Copilota. Na naszym webinarze o hurtowni danych 2.0 padło pytanie wprost: korzystam z Power Query do procesów ETL, co daje mi Fabric? Ten artykuł jest rozwiniętą odpowiedzią.

‍

Znasz Power Query? To dobra wiadomość

Zacznijmy od tego, co dla wielu osób jest najważniejsze: przechodząc na Dataflow, nie uczysz się nowego narzędzia. Interfejs, logika kroków transformacji, lista Applied Steps po prawej stronie, filtry działające jak w Excelu, język M pod spodem: wszystko to wygląda i działa tak samo jak w Power Query znanym z Excela i Power BI. Na webinarze nazwaliśmy Dataflow "Power Query na sterydach" i to określenie dobrze oddaje relację między narzędziami: ta sama baza, znacznie większe możliwości.

Dla zespołu oznacza to krzywą uczenia bliską zeru. Kompetencje zbudowane przez lata pracy z Power Query przenoszą się wprost, a inwestycja w naukę dotyczy tylko tego, co nowe.

‍

Czym Power Query jest, a czym nie jest

Żeby zrozumieć przewagi Dataflow, warto najpierw uczciwie opisać granice Power Query.

Power Query świetnie transformuje dane: łączy pliki, czyści kolumny, scala tabele, buduje logikę warunkową. Ma jednak jedno zasadnicze ograniczenie: wynik transformacji żyje wyłącznie tam, gdzie powstał. Transformacja zbudowana w Excelu ładuje dane do tego jednego skoroszytu. Transformacja w Power BI zasila ten jeden model danych. Jeśli trzy raporty potrzebują tych samych oczyszczonych danych, transformację trzeba utrzymywać w trzech miejscach, a każda zmiana logiki oznacza trzy poprawki.

Power Query jest więc narzędziem transformacji, ale nie jest elementem hurtowni danych. I dokładnie w tym miejscu zaczyna się różnica.

‍

Przewaga 1: ładowanie do Lakehouse przez Data Destination

Najważniejsza pojedyncza różnica to opcja Data Destination: wynik transformacji w Dataflow można załadować do Lakehouse jako fizyczną tabelę. To zmienia status transformacji z prywatnej na organizacyjną.

Tabela w Lakehouse jest dostępna dla wszystkich uprawnionych konsumentów jednocześnie: dla modelu semantycznego i raportów Power BI, dla tabel przestawnych przez Analyze in Excel, dla zapytań SQL przez SQL Endpoint, dla notebooków zespołu data science. Jedna transformacja, zdefiniowana i utrzymywana w jednym miejscu, zasila całą analitykę firmy. Zmiana logiki to jedna poprawka, która automatycznie propaguje się wszędzie.

W Power Query taki scenariusz nie istnieje: transformacja i jej wynik są nierozerwalnie przypięte do jednego pliku lub raportu.

‍

Przewaga 2: automatyczna obsługa nowych plików

Funkcja Combine w Dataflow łączy pliki na poziomie folderu, a nie listy konkretnych plików. To subtelna różnica o dużych konsekwencjach: gdy w folderze pojawia się kolejna partia danych, na przykład eksport za nowy okres, zostaje uwzględniona w transformacji automatycznie. Nikt niczego nie przeklikuje, nie zaznacza nowych plików na liście, nie aktualizuje zakresu.

Jest też druga strona tej funkcji: kontrola struktury. Jeżeli nowy plik ma inny układ kolumn niż pozostałe, Dataflow zgłosi błąd zamiast po cichu przetworzyć niespójne dane. W ręcznym procesie taka niezgodność zwykle wychodzi na jaw dopiero w błędnym raporcie.

‍

Przewaga 3: kontrola wersji i praca zespołowa

Dataflow można objąć integracją z repozytorium i kontrolą wersji. Dla procesów ETL, które z czasem stają się krytyczne dla firmy, to zmiana jakościowa: widać, kto i kiedy zmienił logikę transformacji, można wrócić do poprzedniej wersji, a nad jednym przepływem może pracować kilka osób bez przesyłania sobie plików.

Do tego dochodzi dokumentacja wbudowana w samo narzędzie: każdy krok na liście Applied Steps można opatrzyć komentarzem opisującym, co i po co się dzieje. Osoba przejmująca proces dostaje udokumentowany przepływ, a nie plik-zagadkę, którego logikę zna wyłącznie autor.

‍

Przewaga 4: harmonogramy i orkiestracja

Transformacja w Power Query wykonuje się wtedy, gdy ktoś odświeży plik lub raport. Dataflow ma własne harmonogramy odświeżania, a w bardziej rozbudowanych scenariuszach staje się elementem pipeline'u: potoku, który zarządza kolejnością operacji, czeka na synchronizację danych, odświeża model semantyczny i w razie błędu wysyła powiadomienie na Microsoft Teams.

W efekcie proces ETL przestaje zależeć od tego, czy ktoś pamiętał o odświeżeniu. Działa cyklicznie, samoczynnie, z alertami przy problemach. Szczegóły tego mechanizmu opisujemy w osobnym artykule o automatyzacji odświeżania danych w Fabric.

‍

Przewaga 5: Copilot w transformacjach

W Dataflow dostępny jest Copilot, który buduje kroki transformacji na podstawie poleceń w języku naturalnym. Na webinarze pokazaliśmy dwa praktyczne przykłady: wygenerowanie kompletnej, dynamicznej tabeli kalendarza z kolumnami roku, kwartału, miesiąca i dnia oraz dodanie kolumny klucza rok-miesiąc w zadanym formacie. Obie operacje, które ręcznie wymagałyby pisania kodu albo żmudnego klikania, sprowadziły się do jednego zdania polecenia.

Copilot nie zastępuje zrozumienia danych, a jego wyniki warto weryfikować, ale jako akcelerator codziennej pracy z transformacjami robi realną różnicę. Więcej przykładów zebraliśmy w artykule o Copilocie w Microsoft Fabric.

‍

Porównanie: Power Query i Dataflow w Fabric

‍

‍

Migracja: jak przenieść istniejące przepływy Power Query do Fabric

Dobra wiadomość jest taka, że migracja to w dużej mierze przenoszenie, a nie przebudowa. Logika transformacji napisana w języku M jest zgodna między narzędziami, więc istniejące zapytania można przenieść do Dataflow z minimalnymi zmianami. Największa praca koncepcyjna dotyczy nie samych transformacji, tylko architektury wokół nich: wskazania miejsc docelowych w Lakehouse, uporządkowania, które przepływy zasilają które tabele, oraz zaprojektowania harmonogramów i orkiestracji.

To dobry moment, żeby zrobić porządek: procesy ETL rozproszone po plikach różnych osób skonsolidować w jeden zarządzany zestaw przepływów zasilających wspólną hurtownię. Zespół Power Center w ANEGIS przeprowadza takie migracje wraz z audytem istniejących procesów: sprawdzamy, co warto przenieść wprost, co uprościć, a co zbudować od nowa. Jeśli Wasze raportowanie stoi dziś na Power Query, zapraszamy do kontaktu; pokażemy, jak wyglądałoby po przeniesieniu do Fabric.

‍

‍