Jakość danych

Popularna w informatyce maksyma „śmieci weszły, śmieci wyszły”, przypomina, że wyniki przetwarzania błędnych danych będą błędne nawet wtedy, gdy procedura przetwarzania jest poprawna. Nie mniej ważne jest to, co przetwarzamy. Powyższa zasada nabiera szczególnego znaczenia podczas realizacji projektów Business Intelligence. Niska jakoś danych stanowi główną przyczynę niepowodzeń rozwiązań BI. Zespoły projektowe, które zapominają o konieczności zapewnienia jakości danych, z czasem boleśnie się przekonują, że ich rozwiązanie nie dostarcza wiarygodnych informacji. Narzędzia do pięknej wizualizacji wyników stają się bezużyteczne, jeżeli użytkownicy biznesowi nie mają zaufania do danych, które przedstawiają.

Niska jakość oznacza wysokie koszty
Zdumiewające, jak często sytuacja opisana poniżej ma miejsce w przedsiębiorstwach, które już wdrożyły rozwiązania BI.

W wielu przypadkach raporty wykorzystywane wewnątrz organizacji oraz te sporządzane dla instytucji nadzorujących działalność przedsiębiorstwa, opierają się na sporządzanych ręcznie arkuszach kalkulacyjnych. Takie podejście wiąże się z dużą ilością dodatkowej pracy przy łączeniu i poprawianiu danych za każdym razem, gdy tworzony jest raport. Na wpół ręczny proces sporządzania raportu zaczyna się od ekstrakcji danych i załadowania ich do narzędzia raportującego. Wtedy okazuje się, że dane te były niepoprawne. To prowadzi do wielokrotnie powtarzanej czynności ekstrakcji danych ze źródła i ich analizy. Po uzyskaniu danych źródłowych o zadowalającej jakości można przejść do następnego etapu. Dane eksportuje się wielokrotnie do arkuszy kalkulacyjnych, porównuje z raportami sporządzanymi przez inne działy przedsiębiorstwa, oraz ręcznie poprawia w celu ujednolicenia raportowania w firmie. Podsumowując, ze względu na zduplikowane i niezgodne ze sobą dane, organizacja niepotrzebnie marnuje wiele czasu i wysiłku, aby uzyskać potrzebne raporty i analizy.

Czas i zasoby wydatkowane na wielokrotne przetwarzanie tych samych informacji nie stanowią bynajmniej najwyższej ceny, jaką przychodzi zapłacić za kiepską architekturą danych. Dane złej jakości skutkują niedokładnym spojrzeniem na wyniki działalności biznesowej i prowadzą do złych lub zbyt późnych decyzji. W rezultacie, przedsiębiorstwo może zostać narażone na utratę szans sprzedażowych oraz sposobności do redukcji kosztów, liczonych w milionach złotych. Problemy z jakością informacji mogą również doprowadzić do nieprzestrzegania przepisów i skutkować grzywnami. Historia zna przypadki firm, które zbankrutowały, ponieważ zapomniały, że dane stanowią kluczowy zasób przedsiębiorstwa, konieczny do właściwego zarządzania.

Poprawa jakości danych
W jaki sposób przedsiębiorstwo może się zabezpieczyć przed błędami występującymi w danych i budować udane rozwiązania Business Intelligence? Odpowiedź na to pytanie nie należy do łatwych, szczególnie w przypadku firm gromadzących ogromne ilości bardzo złożonych danych. Pierwszym krokiem do osiągnięcia sukcesu w tej dziedzinie jest uznanie, że zapewnienie wysokiej jakości informacji to ciągły proces, a nie jednorazowe przedsięwzięcie. Praktyczne przykłady pokazują, że trwałe wyniki osiągają organizacje, które wcieliły w życie program jakości danych w oparciu o przemyślaną strukturę zarządzania danymi. Dojrzała struktura zarządzania danymi, powinna obejmować przynajmniej funkcje wymienione na zaprezentowanym obok rysunku.

Poprawnie wdrożone zarządzanie danymi, to nie tylko sposoby postępowania, normy i procesy. Zarządzanie danymi prowadzi do ścisłej integracji działalności biznesowej z technologią. W rezultacie przedsiębiorstwo jest w stanie bardzo szybko reagować na zmieniające się wymagania rynkowe.

Organizacja Zarządzająca Danymi zapewnia właściwą konsolidację inwestycji w nowe technologie i zapewnienie właściwych danych. Takie działanie jest znacznie bardziej efektywne oraz tańsze niż praktyka inwestowania środków w zbędne, dodatkowe bazy danych oraz operacje na powielonych danych.

Zasadniczym elementem skutecznego zarządzania danymi jest zarządzanie metadanymi (ang. meta data management), które silnie wpływa na jakość prezentowanych informacji.

Zarządzanie danymi referencyjnymi
Błędy w raportach są często powiązane z danymi referencyjnymi, określanymi też jako podstawowe, tj. danymi opisującymi klientów, produkty, lokalizacje itp. Rozproszone systemy firmy mogą przechowywać sprzeczne i zduplikowane reprezentacje obiektów takich jak klient czy produkt. Skuteczne zarządzanie danymi referencyjnymi służy osiągnięciu i utrzymaniu w skali całej organizacji jednej wersji danych podstawowych, wspierających wszelkie aplikacje oraz procesy przedsiębiorstwa. Nie jest to łatwe zadanie, ponieważ te dane pochodzą z wielu różnych systemów i jednostek biznesowych. Rekoncyliacja i konsolidacja danych referencyjnych stanowi szczególne wyzwanie w firmach, które mają za sobą historię reorganizacji, łączeń oraz przejęć. By zilustrować problem, rozważmy niektóre typowe scenariusze:

Program zarządzania danymi referencyjnymipotrzebuje wsparcia odpowiedniego oprogramowania, metodyk oraz modeli, które umożliwią tworzenie spójnej i wspólnej dla całego przedsiębiorstwa wersji danych. Wysokiej jakości dane podstawowe są później używane przez wszelkiego rodzaju systemy operacyjne i analityczne. Z technicznego punktu widzenia rozwiązania do zarządzania danymi referencyjnymi (ang. MDM) muszą posiadać przynajmniej poniższe funkcjonalności:

• spis i identyfikacja kandydatów na obiekt danych podstawowych,
• rozwiązanie semantyki, hierarchii i relacji pomiędzy obiektami,
• ujednolicone: ekstrakcja, współdzielenie i dostarczanie danych,
• proces migracji łączący „najlepsze obiekty” w głównym repozytorium

Co nas wyróżnia?
Zapewnienie dobrej jakości informacji jest najbardziej istotnym aspektem rozwiązań Business Intelligence, niestety często również jednym z najbardziej frustrujących. Specjaliści Lingaro posiadają rozległe doświadczenie, które wychodzi poza tradycyjne profilowanie i czyszczenie danych. Proaktywne podejście do kwestii jakości jest o wiele bardziej opłacalne niż późniejsze rozwiązywanie problemów po stronie hurtowni danych. Wychodzimy z założenia, że jakość powinna być uwzględniona przy projektowaniu procesów organizacyjnych na poziomie systemu transakcyjnego. Takie podejście gwarantuje, że analizy i raporty pochodzące z systemów BI będą zawsze spójne ze źródłami danych.

Nie istnieje jedno rozwiązanie dla zapewnienia jakości danych, które byłoby skuteczne we wszystkich przypadkach. Lingaro, wspólnie z Państwa zespołem zaplanuje i wdroży procesy biznesowe dostosowane do specyfiki Państwa firmy. Następnym krokiem będzie zaprojektowanie architektury rozwiązania MDM. Nasi specjaliści pomogą Państwu dokonać wyboru odpowiedniego narzędzia lub zoptymalizować wykorzystanie narzędzi, które Państwo już posiadają. Istotnym czynnikiem przy wdrażaniu programu zapewnienia jakości jest odpowiedni podział na mniejsze projekty, dostarczające częstych i zauważalnych efektów. W rezultacie otrzymacie Państwo rozwiązanie BI wychodzące naprzeciw oczekiwaniom biznesowym pod względem punktualności, dokładności i kompletności, a przede wszystkim cieszące się zaufaniem użytkowników.