Technologia

DataWalk Abstraction

Jedną z kluczowych potrzeb na rynku analitycznym typu enterprise jest możliwość skalowania bardzo dużych zestawów danych. Opatentowana technologia i metodologia opracowana przez PiLab w ramach platformy DataWalk, odpowiedzialna za architekturę danych i jej dostosowywanie, pozwala skutecznie eksplorować i filtrować dane, zachowując bardzo wysokie parametry wydajnościowe. 

Technologia DataWalk wykorzystuje horyzontalnie skalowalną architekturę składowania i przetwarzania danych.  W połączeniu z wysoce znormalizowanym, uniwersalnym i niezmiennym, niezależnie od warunków biznesowych, fizycznym modelem danych, pozwala tłumaczyć dowolny zestaw zapytań biznesowych na skończony zestaw zapytań osiągając znakomite parametry wydajnościowe. Jest to możliwe dzięki połączeniu charakterystyk grafowych baz danych z wydajnością i bezpieczeństwem przetwarzania systemów MPP (Massively Parallel Processing).

Unikalny sposób przechowywania danych, pozwala elastycznie zarządzać informacjami zachowując wysoką wydajności i elastyczności wymaganą przy prototypowaniu analiz czy wręcz całych środowisk analitycznych. Technologia “Abstraction Engine” pozwala użytkownikom na zadawanie dowolnych pytań w terminologii biznesowej i bez użycia SQL lub innego języka programowania i  wykonuje szybkie, wielowymiarowe, skomplikowane analizy na wieloterabajtowych zbiorach danych (Big Data).

DataWalk FlexStructure

Dzięki technologii FlexStructure fizyczna struktura danych DataWalk jest niezmienna, niezależnie od wdrożenia, logiki biznesowej czy występujących obiektów. Dzięki temu można elastycznie modyfikować logiczną strukturę danych w locie (logiczny model danych), bez bez konieczności przeprowadzania zmian w modelu fizycznym i bez zatrzymywania pracy systemu. Ponieważ struktura DataWalk jest wysoce znormalizowana, istnieje możliwość równomiernego rozprowadzania danych pomiędzy wieloma węzłami co gwarantuje jednakowe rozłożenie mocy obliczeniowej potrzebnej do otrzymania odpowiedzi. Z DataWalk koszt zmiany modelu obiektów biznesowych jest na tyle niski, że użytkownicy mogą eksperymentować z logicznym modelem, zmieniając go dowolnie w czasie rzeczywistym (tworzenie nowych połączeń, modyfikacja istniejących, dodawanie nowych źródeł, tworzenie nowych opisów obiektów) .

DataWalk API - Komunikacja

DataWalk jest systemem opartym w 100% na technologii Java. Każdy komponent aplikacji posiada własny serwis (REST). Pozwala to wykorzystywać możliwości modułów DataWalk do innych działań, których bezpośrednio nie obejmuje aplikacja (np. analiza predykcyjna).

Podłączenie do danych jest jednym z najważniejszych elementów technologii DataWalk. Aby przetwarzać informacje poza DataWalk, klienci mogą korzystać z dostępu RESTful oraz JDBC / ODBC.

DataWalk Universe Viewer

Universe Viewer, bazując na patentowanej technologii PiLab, dostarcza zagregowany widok zaimportowanych źródeł danych na graficznym interfejsie. DataWalk Universe Viewer unikalnie opisuje znaczenie, topologię i katalogi danych dla użytkownika końcowego bez konieczności wykonywania dodatkowej pracy, dzięki czemu zadawane pytania i uzyskiwane odpowiedzi można bardzo łatwo zinterpretować. Ponadto wizualizuje posiadane dane i połączenia pomiędzy nimi. DataWalk Universe Viewer łączy w sobie elastyczny, analityczny model danowy wraz z pełnym, działającym środowiskiem analitycznym, na którym bezpośrednio użytkownicy zarówno techniczni jak i biznesowi, mogą wykonywać złożone zapytania analityczne (analizy, hipotezy) bez konieczności używania SQL, bez skryptowania czy pisania dodatkowych programów. DataWalk Universe Viewer pozwala na łatwą identyfikację kompleksowych relacji pomiędzy danymi oraz szybkie i natychmiastowe filtrowanie n-oddalonych (pośrednio i bezpośrednio połączonych) nawet bardzo dużych zbiorów danych (typu “Big Data”). Połączenie metod modelowania biznesowego z odkrywaniem oraz łączeniem(data blending) powoduje, że projekty prototypowania, szczególnie w przypadku integracji wielu źródeł danych, zyskują możliwość łatwego ich iterowania. W konsekwencji kilkusetkrotnie przyspiesza to proces integracji i diametralnie minimalizuje koszt popełnienia błędów.

DataWalk Link Generator

Zamiast sztywnych tabel oraz wcześniej zaprojektowanych i zaprogramowanych przepływów analitycznych DataWalk posiada wbudowany mechanizm elastycznego łączenia danych w logicznej warstwie. Cały proces odbywa się bez konieczności programowania i zatrzymywania pracy systemu.  Link (inaczej połączenie) oblicza i utrzymuje informacje na temat zależności pomiędzy obiektami. Każde połączenie może być zbudowane z zaawansowanych reguł biznesowych, dzięki czemu można połączyć dane nawet wtedy, kiedy nie istnieje relacja klucz główny - klucz obcy. Linki można w locie ze sobą agregować co pozwala na tworzenie kompozytowych połączeń. Dzięki temu na tym samym zestawie danych można wykonać więcej analiz, bez konieczności tworzenia dodatkowych zestawów danych.

Nadawanie ontologii odbywa się w locie. Ze względu na wizualny charakter eksploracji danych znaczenie odpowiednich obiektów, atrybutów opisowych i linków, nadawane jest przez użytkownika końcowego. Pozwala to na integrację wielu różnych rodzajów danych o różnej strukturze z wielu różnych źródeł w jedną spójną całość, która odzwierciedla, naturalne, ludzkie wyobrażenie informacji.

DataWalk Link Generator oblicza i przechowuje połączenia na podstawie określonych reguł, tak aby system nie musiał każdorazowo przeliczać ich podczas wykonywania analiz. Dzięki temu bardziej skomplikowane analizy oparte na zaawansowanych regułach połączeń są mniej zasobożerne ze względu na wykonywania obliczeń na danych.

DataWalk Drop Folders

Za każdym razem, kiedy w DataWalk projektowana jest nowa struktura, system tworzy wyspecjalizowane, nazwane foldery (tzw. Drop Folders), które są kompatybilne z plikami CSV. W momencie, w którym plik CSV pojawi się w utworzonym folderze, DataWalk wykonuje szereg operacji, tj. automatycznie mapuje nagłówki na utworzoną strukturę, następnie importuje dane oraz przeliczania połączenia pomiędzy danymi. Dodatkowo system posiada wbudowaną funkcję Drop Excel, która umożliwia dokładanie nowych danych w formacie plików .xlsx i podłączenie ich do stworzonego środowiska analitycznego w kilka sekund w celu wykonania analizy lub dodaniu nowych filtrów lub warunków do istniejących już analiz. Dodane dane są od razu gotowe do użycia, co całkowicie rewolucjonizuje sposób sprawdzania hipotez poprzez rozszerzanie kontekstu analitycznego.  

DataWalk Predicate Permissions - kontrola dostępu

Jednym z największych wyzwań składowania i odpytywania systemów danowych jest zapewnienie, że dane i wyniki przetwarzania zwracane przez system są zależne i adekwatne od poziomu uprawnień użytkownika. DataWalk rozwiązuje ten problem wykorzystując uprawnienia na 3 poziomach:

  • dostępu do zbiorów obiektów per użytkownik ·  
  • dostępu do atrybutu obiektu per użytkownik
  • dostępu do obiektu wykorzystując predykaty dostępowe per użytkownik

Predykaty dostępowe

Administrator systemu może zdefiniować zestaw filtrów per zbiór, które są związane z danym użytkownikiem. Filtry te są aplikowane transparentnie przy każdym odpytaniu bazy przez użytkownika. Wartością dodaną takiego rozwiązania są:

  • uprawnienia są mało wymagające i rozstrzygane przez system bazodanowy w trakcie wykonywania zapytania, a nie po jego przetworzeniu co zwiększa wydajność i zmniejsza obciążenie,
  • uprawnienia są łatwo zarządzane i nie wpływają znacząco na wydajność systemu.
  • predykaty ustawione na kolumnach wyliczeniowych pozwalają dynamicznie zmieniać uprawnienia do obiektów wraz ze zmieniającymi się danymi,
  • predykaty mogą być ustawione na kolumnach do których użytkownik nie ma dostępu

DataWalk LDI - dodawanie danych w czasie rzeczywistym

DataWalk umożliwia przyjmowanie danych na bieżąco bez ograniczenia zdolności analitycznych platformy. System pozwala obsługiwać procesy, które wymagają bieżącego ładowania danych bez przerywania pracy systemu (bez konieczności tworzenia okien maintenance-owych).

DataWalk Object Search - silnik do wyszukiwania obiektów

Wbudowana wyszukiwarka pozwala w szybki sposób znaleźć interesujący dowolny obiekt tj. klient, umowa, warsztat, ubezpieczenie, produkt, zdarzenie itd. w różnych zbiorach danych. Rozwiązanie jednocześnie pokazuje z jakiego zbioru pochodzi wyszukiwany element, a same wyniki wyszukiwania są prezentowane w zakładkach dla poszczególnych zbiorów i są sortowane pod względem stopnia dopasowania wyszukiwanego hasła do znalezionego obiektu. Z wyszukiwarki obiektów użytkownik może bezpośrednio przejść do analizy wskazanego obiektu.

Chcesz dowiedzieć się więcej? Skontaktuj się z nami