Van BI tot Databricks: Vereenvoudigen van Architectuurlagen
De afgelopen weken hebben we de reis van traditionele Business Intelligence (BI) naar Databricks verkend. Als onderdeel van deze transitie is het essentieel om een belangrijk aspect aan te pakken: architectuur. Hoewel de terminologie in eerste instantie ontmoedigend kan lijken — Bronze, Silver, Gold, deze lagen verschillen niet zozeer van wat u al gewend bent. Laten we het uiteenzetten en laten zien hoe u dit raamwerk kunt aanpassen aan uw organisatie.
Lagen zijn lagen—Laten we het simpel houden
Als het gaat om data-architecturen, denken we allemaal in lagen. Ze brengen structuur en duidelijkheid in een anderszins complex ecosysteem. Dus, als u overstapt op de medaille-architectuur met zijn brons-, zilver- en goudlagen, laat de terminologie u dan niet overweldigen. We hebben zelfs klanten gezien die platina en diamant aan hun lagen hebben toegevoegd - waarom niet? Als het voor uw organisatie werkt, werkt het! Onthoud dat een framework slechts een startpunt is; pas het aan uw behoeften aan.
Staging naar de bronzen laag in kaart brengen
De sleutel is om je te concentreren op de kenmerken van elke laag. In de MSBI-wereld is een staginglaag bijvoorbeeld waar ruwe brongegevens landen. Het is nog steeds gestructureerd rond de bron, met een minimale transformatie. De Bronzen laag in Databricks dient hetzelfde doel: het is de ruwe, onbewerkte weergave van de brongegevens. Zodra je dit verband ziet, wordt de overgang minder intimiderend.
Het Data Warehouse mappen naar de Zilvere Laag
De Data Warehouse-laag in MSBI sluit nauw aan bij de Zilveren laag (Silver layer) in de medallion-architectuur. In deze fase introduceer je organisatorische standaarden, naamgevingsconventies en andere structuren, terwijl de data op het laagste granulariteitsniveau wordt gehouden. Deze laag is je ruggengraat, ontworpen om stabiel te blijven over tijd.
Een belangrijk verschil in Databricks is de flexibiliteit rond traditionele datamodelleringsbenaderingen, zoals Kimball of Inmon (ster-schema), Anchor modeling of Data Vault. Hier kunt u kiezen hoe strikt u zich aan deze technieken houdt, afhankelijk van de behoeften van uw organisatie. Het is echter cruciaal om ervoor te zorgen dat deze laag veerkrachtig is. Wijzigingen in gegevensbronnen of organisatiestructuren moeten minimale impact hebben op uw modellen. Om dit te bereiken, kunt u domeingericht ontwerpen, bounded contexts en data mesh principes overwegen - deze sociotechnische concepten helpen uw architectuur flexibel en toekomstbestendig te houden.
De Data Mart Laag: Goud (of Platina, of Diamant)
De laatste laag—vaak de Gouden laag genoemd in Databricks—is waar u gegevens optimaliseert voor consumptie. Of het nu gaat om een one-big-table-ontwerp, 3NF, of een ster-schema, deze laag gaat over het leveren van bedrijfswaarde. Vanwege de directe impact op de eindgebruiker is dit waar bedrijven de meeste investeringen aan toewijzen. Het is echter van vitaal belang om de upstream lagen niet te over het hoofd te zien. Een stabiele basis is de enige manier om een betrouwbare en effectieve Gouden laag te garanderen.
Bij RevoData hebben we geleerd dat een logische en gebruiksvriendelijke structuur voor uw Data Catalog essentieel is. In plaats van catalogi “Bronze”, “Silver” of “Gold” te noemen, gebruiken we beschrijvende labels zoals “bronnen”, “domeinen” of “dataproducten” en passen we de bekende termen toe als metadata-tags. Deze aanpak biedt een duidelijk pad naar gegevens voor alle gebruikers, terwijl de architectuur intuïtief en schaalbaar blijft.
Laat uw architectuur voor u werken
Overstappen naar Databricks betekent niet opnieuw beginnen. Door uw bestaande architectuur in kaart te brengen met het medallion-framework en deze aan te passen voor uw organisatie, creëert u een systeem dat zowel vertrouwd als toekomstbestendig is.
Klaar om de volgende stap te zetten?
Bij RevoData zijn we gespecialiseerd in het helpen van organisaties om het maximale uit Databricks te halen. Of u nu aan uw reis begint of uw aanpak wilt verfijnen, wij staan klaar om u te ondersteunen. Laat ons u laten zien hoe Databricks uw data-strategie kan transformeren en echte zakelijke impact kan opleveren. Neem vandaag nog contact met ons op om te beginnen!
Rafal Frydrych
Senior Consultant bij RevoData, deelt zijn kennis met u in de opiniërende serie: Migreren van MSBI naar Databricks.