Integracja danych

Nasze podejście w projektach integracji danych opiera się o takie sprawdzone wzorce jak ekstrakcja/transformacja/ładowanie (ETL), replikacja danych czy architektura zorientowana serwisowo (SOA). Wybór odpowiednich narzędzi uzależniamy od potrzeb klienta. Nasi konsultanci posiadają doświadczenie zarówno z komercyjnymi pakietami ETL (Informatica, DataStage, Oracle Warehouse Builder i inne) jak i narzędziami własnymi działającymi w oparciu o mechanizm ELT (SQL, Unix shell, C, C++, PL/SQL).

Przygotowując rozwiązanie oparte o mechanizmy ETL szczególną uwagę zwracamy na skalowalność, monitorowanie jakości danych oraz łatwość utrzymania i rozwoju systemu. Naszym klientom z reguły sugerujemy gromadzenie danych na poziomie detalicznym. Tylko takie podejście pozwala na szybkie budowanie nowych analiz w momencie, gdy pojawiają się nowe potrzeby informacyjne.

Typowo w projektach integracji danych stosujemy architekturę opartą o następujące warstwy:

• systemy źródłowe
• pośrednia przestrzeń tymczasowa (staging area)
• dane detaliczne
• agregaty

Warstwa pośrednia zapobiega tworzeniu ciągów ładowania o niespójnej architekturze. W trakcie zasilania warstwy danych detalicznych przeprowadzane są takie procesy jak:

• czyszczenie
• transformacja
• historyzacja

Dane detaliczne to centralny magazyn informacyjny firmy, z kolei agregaty pozwalają na uzyskanie szybkich odpowiedzi na typowe problemy biznesowe.

Dobór metody integracji danych uzależniamy od natury danych (zmienności, wolumenu, zawartości) oraz potrzeb biznesowych. Mechanizmy ETL/ELT są najbardziej dojrzałymi i stabilnymi technologiami, replikacja danych sprawdza się w sytuacjach gdy wymagane jest raportowanie na poziomie danych operacyjnych. Architektura SOA jest skuteczna w przypadku integracji danych o dużej zmienności.

Lingaro łączy doświadczenie techniczne z wiedzą biznesową. Posiadamy gotowe modele informacyjne dla wielu obszarów z zakresu takich branż jak: FMCG, bankowość czy telekomunikacja. Ta wiedza pozwala nam znacząco zredukować czas trwania projektów integracji danych.