W dzisiejszym dynamicznym świecie cyfrowym analiza danych w czasie rzeczywistym nie jest już tylko przewagą konkurencyjną – stała się koniecznością. W Onex Group z dumą dzielimy się, jak nasze innowacyjne podejście, wykorzystujące Microsoft Fabric, Azure Service Bus i Azure Cosmos DB przekształciło możliwości danych Nsure.com. Ta nowa, gotowa na AI platforma danych nie tylko zastępuje analizy CRM Dynamics 365, ale także umożliwia Nsure.com elastyczne, oparte na danych podejmowanie decyzji.
Wyzwania biznesowe
Przed transformacją Nsure.com polegało na analizie danych z CRM Dynamics 365 gdzie dane były przechowywane w Dataverse. Chociaż ten system był skuteczny w swoim czasie, stał się wąskim gardłem dla rozwijającej się platformy zakupów ubezpieczeń online.
Kluczowe wyzwania obejmowały:
- Opóźnienia w uzyskiwaniu analiz: Aktualizacje i analizy danych nie były realizowane w czasie rzeczywistym.
- Ograniczenia skalowalności: Starsze systemy miały trudności z obsługą rosnących wolumenów danych.
- Problemy z integracją: Brak płynnego połączenia przetwarzania transakcyjnego i analitycznego.
Nsure.com zmagało się także z trudnościami w agregacji danych na potrzeby złożonych raportów, koniecznością posiadania bazy danych opartej na faktach i wymiarach, wysokimi kosztami utrzymania danych w Dataverse oraz potrzebą zastąpienia istniejącego systemu CRM Dynamics 365.
Nasze innowacyjne rozwiązanie
Nasz zespół w Onex Group wdrożył nowoczesną platformę danych skoncentrowaną wokół Microsoft Fabric. Oto jak rozwiązanie redefiniuje analizę w czasie rzeczywistym:
Pozyskiwanie i integracja danych
- Źródła danych:
- Dane zdarzeniowe: Korzystając z Azure Service Bus, zdarzenia systemowe, takie jak tworzenie użytkowników i odnawianie ofert, są przesyłane do naszej architektury. Wykorzystujemy Microsoft Fabric EventStream do pobierania tych zdarzeń do tabel Delta przechowywanych w lakehouse etl_configuration.
- Dane z Cosmos DB: Są replikowane w bazach danych Microsoft Fabric, pełniąc rolę warstwy brązowej do dalszego przetwarzania.
- Procesy przetwarzania:
- Zdarzenia są przetwarzane przy użyciu kombinacji Pythona, SQL i KQL w notebookach, zapytując GraphQL z dynamicznymi parametrami.
- Proces usuwania wsadowego co 15 minut zapewnia aktualność lakehouse poprzez usuwanie zużytych wiadomości.
Architektura medaliowa dla niezawodności danych
- Warstwa brązowa: Surowe dane z Azure Service Bus i Cosmos DB.
- Warstwy srebrna i złota: Widoki materializowane, zapewniające aktualność i pełność danych.
- Dane historyczne vs. dane w czasie rzeczywistym:
- Dane bieżące: Przechowywane przez 24 godziny.
- Dane historyczne: Archiwizowane w tabelach Delta dla wydajnej analizy.
Konsumpcja i wizualizacja
- Raporty Power BI:
- Model Direct Query: Analiza w czasie rzeczywistym z odświeżaniem co 15 minut, zsynchronizowana z procesem wsadowym.
- Tryb importu: Analiza danych historycznych, odświeżana codziennie.
To podejście nie tylko dostarcza natychmiastowych analiz, ale także wspiera dogłębną analizę dla planowania strategicznego.
Wsparcie dla Data Science
Platforma obsługuje zaawansowaną analizę danych:
- Zaawansowane analizy: Zespoły Data Science korzystają z Pythona i R do przeprowadzania strategicznych, złożonych analiz na żądanie.
- Zintegrowane wizualizacje: Wyniki są przechowywane w OneLake lub wizualizowane w Power BI.
Proces wdrożenia
Wdrożenie obejmowało kluczowe etapy:
- Strumieniowanie danych: Wykorzystano Azure Service Bus do strumieniowania zdarzeń, notebooki Pythona do zapytań GraphQL i Eventhouse do danych w czasie rzeczywistym.
- Konfiguracja GraphQL: Zdefiniowano wiadomości danych i skonfigurowano niezbędną infrastrukturę do obsługi zapytań GraphQL.
- Definicja danych i wiadomości: Wyodrębniono dane z różnych źródeł, przekształcono je i załadowano do odpowiednich baz danych.
- Wstawianie danych: Skonfigurowano system do obsługi wstawiania danych i zapewniono, że dane są poprawnie przechowywane w bazie danych.
- Materializowane widoki: Utworzone w celu optymalizacji wydajności i zapewnienia jednego źródła prawdy dla Power BI i nauki danych.
- Replikacja Azure Cosmos DB: Wdrożone w celu zapewnienia niemal rzeczywistej replikacji danych.
- Dane historyczne i bieżące: Zaprojektowane do obsługi zarówno danych historycznych, jak i bieżących.
- Integracja Power BI: Zapewniono wizualizację danych w czasie rzeczywistym i historycznych.
- Środowisko Data Science: Skonfigurowane do obsługi zaawansowanej analizy i uczenia maszynowego.
Realizacja i współpraca
Projekt trwał cztery miesiące, w tym trzy tygodnie planowania i badań. Ściśle współpracowaliśmy z Nsure.com, zarządzając backlogiem w Azure DevOps i angażując architektów, inżynierów danych, ETL/ELT oraz deweloperów Power BI.
Wartość biznesowa i korzyści
Wdrożenie znacząco zwiększyło efektywność operacyjną i konkurencyjność Nsure.com, przynosząc kluczowe korzyści biznesowe:
- Szybsze podejmowanie decyzji
- Lepsza obsługa klienta
- Większa efektywność operacyjna
- Gotowość na przyszłe innowacje AI
Plany na przyszłość
Nsure.com planuje wykorzystać Copilot i AI Skills, zintegrować się z innymi systemami biznesowymi oraz rozwijać i skalować platformę. Przykłady umiejętności AI, które Nsure.com planuje wykorzystać w krótkim okresie, obejmują analizy predykcyjne, przetwarzanie języka naturalnego (NLP), modele uczenia maszynowego i automatyczne oceny ryzyka.
Podsumowanie
Przechodząc na platformę danych opartą o Microsoft Fabric, Nsure.com nie tylko rozwiązało swoje wyzwania związane z poprzednią infrastrukturą, ale także przygotowało się na przyszły wzrost na konkurencyjnym rynku. Nasze rozwiązanie pokazuje, jak nowoczesne technologie chmurowe mogą odblokować wartość w czasie rzeczywistym, umożliwić naukę danych i ostatecznie prowadzić do lepszych wyników biznesowych. W Onex Group jesteśmy podekscytowani kontynuowaniem innowacji i pomaganiem naszym klientom w rozwoju w erze analizy w czasie rzeczywistym.
Autor: Maksymilian Zabrzycki, Data & AI Co-Owner, Onex Group
