Van losse data naar betrouwbare beslissingen

Datawarehouse, datalake en medallion architecture: bouw een datafundament dat je organisatie vooruithelpt.

Je verkoopteam kijkt naar het CRM. Finance vertrouwt op het ERP. Operations houdt een eigen Excel bij. Tijdens het overleg verschijnen drie verschillende cijfers voor dezelfde vraag. Voor je een beslissing neemt, moet je eerst uitzoeken welk cijfer klopt.

Herkenbaar? Dan begint de oplossing bij de samenhang tussen je systemen, je gegevens en de afspraken die mensen daarover maken. Een datawarehouse, datalake of lakehouse kan daarbij helpen. De juiste keuze hangt af van wat je organisatie wil bereiken.

Begin bij de beslissing die je wil verbeteren

Wil je beter weten welke orders vertraging oplopen? Je voorraad gerichter aanvullen? Je marge begrijpen per klant of product? Maak eerst die vraag concreet. Bepaal daarna welke gegevens nodig zijn, waar ze ontstaan en hoe actueel ze moeten zijn.

Een dagelijks bijgewerkt overzicht kan voldoende zijn voor een managementrapport. Een proces dat onmiddellijk op een storing moet reageren, vraagt iets anders. Dat verschil bepaalt mee de architectuur, de kost en het onderhoud. Technologie volgt je werking.

Datawarehouse, datalake of lakehouse?

Deze begrippen beschrijven verschillende manieren om data beschikbaar te maken. Ze kunnen ook naast elkaar bestaan.

De grenzen tussen platformen vervagen. Kijk daarom naar je workloads, je team en de totale beheerkost. Een afgebakende rapporteringsvraag vraagt niet automatisch om een uitgebreid lakehouse. Voor organisaties die verschillende soorten data en analyses combineren, kan dat wel een passende richting zijn.

ETL en ELT: hoe komt je data op de juiste plek?

Een datawarehouse of lakehouse is maar een deel van het verhaal. Je moet de gegevens ook ophalen, verwerken en beschikbaar maken. Daar komen ETL en ELT in beeld.

ETL staat voor Extract, Transform, Load: je haalt data uit de bron, verwerkt ze in een aparte verwerkingsstap en laadt het resultaat in het doelsysteem. Dat is relevant wanneer je vóór het laden gegevens wil opschonen, velden wil weglaten of het doelsysteem wil ontlasten.

ELT staat voor Extract, Load, Transform: je haalt de data op, laadt ze eerst in het doelplatform en verwerkt ze daar met de beschikbare rekenkracht. Dat is relevant wanneer je dezelfde brongegevens voor verschillende analyses wil hergebruiken en transformaties later wil kunnen aanpassen. Het platform moet daarvoor voldoende capaciteit hebben.

Wat betekent dat voor jouw werking?

Neem een orderexport met contactgegevens. Heeft je analyse geen telefoonnummer nodig, dan kun je dat veld vóór het laden weglaten. Wil je later leverbetrouwbaarheid berekenen volgens een nieuwe definitie, dan is het nuttig om de toegelaten brongegevens opnieuw te kunnen verwerken. Zo kun je controles vóór het laden combineren met transformaties in het platform.

ELT past vaak bij medallion architecture: je laadt in bronze en werkt verder naar silver en gold. Toch zijn de begrippen niet hetzelfde. Medallion beschrijft de lagen; ETL en ELT beschrijven waar en in welke volgorde je data verwerkt. Een modern datawarehouse kan ook ELT gebruiken.

Kijk bij je keuze naar toegangsregels, datavolume, vereiste actualiteit, kosten en de kennis in je team. ELT betekent niet dat iedereen ruwe data mag zien, of dat je alles onbeperkt bewaart. En ETL of ELT bepaalt niet op zichzelf of de verwerking in batches of continu gebeurt.

Medallion architecture: van brongegevens naar bruikbare data

Medallion architecture, ook medaillonarchitectuur genoemd, ordent de verwerking doorgaans in drie lagen. Het is een ontwerppatroon, geen product.

Bronze: ontvangen brongegevens, met hun herkomst en inlaadmoment. Zo kun je later achterhalen wat binnenkwam.

Silver: gecontroleerde en afgestemde gegevens. Denk aan consistente datums, gekoppelde klantnummers en behandelde duplicaten.

Gold: data die klaarstaat voor een concrete toepassing, zoals een rapport, KPI of analyse.

De lagen maken de weg van bron naar resultaat begrijpelijk. Welke controles je uitvoert en hoe je fouten afhandelt, moet je nog steeds ontwerpen. Drie lagen aanmaken levert op zichzelf geen betrouwbare data op.

Concreet: welke orders dreigen te laat te komen?

Stel: je wil verkooporders uit je ERP combineren met voorraadgegevens en leverupdates. Dit is een illustratief voorbeeld.

In bronze komt elke bron binnen met een tijdstempel. In silver stem je artikelnummers af, controleer je ontbrekende orderreferenties en maak je verschillen tussen een geplande en een bevestigde leverdatum expliciet. Onvolledige records krijgen een zichtbare foutstatus en een opvolgproces.

In gold maak je een overzicht van orders met een verhoogd risico op vertraging. Daarbij spreek je af wat “te laat” betekent: ten opzichte van de klantbelofte, de interne planning of de laatste bevestiging? Je toont ook wanneer de gegevens bijgewerkt zijn.

Zo krijgt de planner een overzicht waarmee die kan handelen. Tegelijk blijft een afwijkend cijfer terug te volgen tot de bron.

Data governance: wie beslist wat data betekent?

Data governance legt verantwoordelijkheden en afspraken vast. Wie is eigenaar van de definitie van een actieve klant? Wie mag een margeberekening wijzigen? Wie beslist welke gegevens beschikbaar zijn voor welke rol?

Begin werkbaar: wijs voor je eerste toepassing een eigenaar aan, leg de belangrijkste begrippen vast en spreek af hoe kwaliteitsproblemen worden opgevolgd. Een datacatalogus helpt mensen datasets en hun betekenis terug te vinden. Data lineage maakt zichtbaar hoe gegevens doorheen de verwerking veranderen. Zulke hulpmiddelen ondersteunen de afspraken; mensen moeten ze blijven toepassen.

Governance loopt door alle lagen. Ook brongegevens vragen duidelijke toegang, bewaartermijnen en afspraken over verwijdering.

Datamanagement: zorgen dat het dagelijks blijft werken

Datamanagement brengt die afspraken in de praktijk. Het omvat onder meer integratie, opslag, beveiliging, kwaliteitscontrole en onderhoud. Daar hoort ook masterdatamanagement bij: zorgen dat kerngegevens over klanten, producten en leveranciers op een afgesproken manier worden herkend en beheerd.

Maak kwaliteit meetbaar. Hoeveel orders missen een klantreferentie? Hoe oud is de laatste succesvolle aanlevering? Wat gebeurt er wanneer een bronsysteem een veld wijzigt? Leg vast wie een melding krijgt en hoe herstel gebeurt. Een dashboard dat stilletjes veroudert, ondergraaft snel het vertrouwen.

Een basis voor AI, met ruimte om te veranderen

Ook AI-toepassingen hebben baat bij gegevens waarvan de betekenis, herkomst en toegangsrechten duidelijk zijn. Een model dat met onvolledige of verkeerd geïnterpreteerde data werkt, kan overtuigend klinken en toch een verkeerde conclusie trekken. De kwaliteit van je data vervangt bovendien nooit de evaluatie van de AI-toepassing zelf.

Houd bij platformkeuzes ook rekening met overdraagbaarheid. Zijn definities en transformaties gedocumenteerd? Kan je team de oplossing beheren? Kun je gegevens exporteren in bruikbare formaten? Open formaten en duidelijke interfaces kunnen afhankelijkheden beperken; de volledige oplossing bepaalt hoeveel vrijheid je werkelijk behoudt.

Think. Build. Maintain.

Bij DX-Solutions bekijken we processen, systemen en data in samenhang. Met Think brengen we de vraag en de keuzes in kaart. Met Build realiseren we de oplossing en verbinden we de nodige systemen. Met Maintain ondersteunen we het verdere onderhoud en de verbetering.

Een goede eerste stap? Kies één beslissing die vandaag te veel uitzoekwerk vraagt. Breng de bronnen en definities samen, bouw een bruikbare eerste versie en toets ze met de mensen die ermee werken. Van daaruit kun je gericht verder bouwen.

Reclaim your IT freedom.