Daar schreven we eerder al over in vorige blogs over datamanagement en datagovernance. Kwalitatieve data kunnen de sleutel zijn die verdere groei faciliteert. Veel bedrijven geloven daar ook in, maar wagen zich niet aan zo’n traject. De reden? Hun data zitten opgesloten in een oude silo waar ze niet makkelijk ontsloten kan worden. Dat hoeft echter niet zo te zijn: wij hebben oplossingen om op een kosten-efficiënte manier uw data toch aan het werk te zetten in nieuwe tools!
Na jaren van groei heeft u een applicatielandschap waar oud en nieuw met elkaar verweven zijn. U heeft misschien al een webshop, mobiele app of een basis rapporteringstool maar het kloppend hart van uw bedrijf is nog steeds het op maat gemaakte, of verouderde ERP waar u lang geleden veel in investeerde. Niet onlogisch, want het ontzorgde u tot nu toe heel goed.
Om verdere groei te faciliteren wil u investeren in een bepaalde tool die de nood binnen uw bedrijf opvangt. Dat kan een investering in reporting zijn, een integratie met een nieuw CRM of een klantenportaal. Om die systemen te doen renderen heeft u echter de data uit dat op maat gemaakte of verouderde ERP nodig. Maar hoe begint u hieraan?
Uw nieuwe tool beschikt in de meeste gevallen over een API, een Application Programming Interface. Met andere woorden: een manier om makkelijk op een geautomatiseerde manier aan data-uitwisseling te doen. Data in uw nieuwe tool krijgen wordt op die manier eenvoudig, tenminste als uw oude tool in staat is met deze API te praten. En hier wringt vaak het schoentje.
In het beste geval beschikt uw oude tool ook over een API of webservice (SOAP) en - minstens even belangrijk - een mogelijkheid om webhooks te configureren. Zo’n webhook is de missing link tussen de API’s van beide tools. Een API of webservice beantwoordt namelijk wel vragen maar stelt er zelf geen. Dus zelfs al beschikken uw beide tools over een API, het blijft voorlopig stil.
Een webhook daarentegen, laat wel van zich horen. Die haakt u in op uw oude tool om bepaalde acties op de juiste momenten te laten uitvoeren. Via een webhook in uw oude tool configureert u bijvoorbeeld dat uw nieuwe tool automatisch een “Klant” aanmaakt op het moment dat dat in uw oude tool gebeurt. De webhook ontvangt in dat geval alle data van de “Klant” en roept de API aan van de nieuwe tool om die data over te zetten.
Die webhook hoeft niet alle data meteen te ontvangen. Hij kan ook het “Klanten ID” krijgen, een unieke code om de klant mee te identificeren, en via de API van de oude tool zelf realtime of via een wachtrijsysteem (queueing) de nodige data opvragen voor hij de data naar de API van de nieuwe tool stuurt.
Maar wat als uw oude tool geen ondersteuning biedt voor die praktische webhooks? Of de tool doorheen de jaren zo sterk is aangepast dat de API lang niet meer alle nodige data aanlevert? In deze fase nog investeren in uw oude tool om de API of webservice te vernieuwen of webhooks toe te voegen is vaak geen voor de hand liggende keuze. En zelfs al wilt u er nog verder in investeren: zijn de originele ontwikkelaars nog te vinden? In welke verouderde programmeertaal is de tool geschreven? Waar vindt u iemand die het aandurft aan het kaartenhuisje te sleutelen zonder dat het helemaal instort?
Veel bedrijven zetten hier het traject stop. Enkel een volledige vervanging van de oude tool, bijvoorbeeld het ERP, kan immers een oplossing bieden, en dat is een veel duurder traject dan wat ze voor ogen hadden. Dit hoeft echter niet het einde te zijn. Er zijn immers alternatieve wegen om die data toch uit uw verouderde tool te halen en in een moderne omgeving te gebruiken.
Hier biedt Change Data Capture (CDC) software vaak een goede oplossing. Er wordt niet gesleuteld aan de verouderde tool zodat risico’s en kosten beperkt blijven. In plaats daarvan wordt ingehaakt op de database. Immers, bijna elke applicatie bewaart zijn data in een database. Die database buiten de applicatie om gaan manipuleren is not done (en risicovol) maar er enkel uit lezen is wel gedoogd. Tools zoals Apache StreamSets, Debezium, Talend, Qlik Replicate of IBM Infosphere kunnen hiervoor gebruikt worden.
Alleen: uit een database lezen is eenvoudig. Detecteren wanneer wat wijzigt is dat minder. En laat net dat de belangrijkste functionaliteit van een webhook zijn. Gelukkig hebben we ook daar een antwoord op. Hoe we dat doen, daar zijn verschillende wegen voor. Maar de mooiste, zeker bij oude systemen, is het uitlezen van de transactielog. De meeste databases houden immers bij als een wijziging wordt aangebracht. Traditioneel waren die logs niet bedoeld om data te exporteren, maar ondertussen blijkt dat we zo met minimale impact op de databaseserver en de bovenliggende applicatie de data toch kunnen ontsluiten.
En zo zitten we opnieuw in het webhook-verhaal. Op het moment dat we detecteren dat de “Klant”-data wijzigt, helpt de CDC-software te bepalen of het om een update van een bestaande klant gaat of als er een nieuwe klant werd toegevoegd. Die informatie wordt daarna doorgestuurd naar de API van de nieuwe tool. De synchronisatie is een feit, zonder één letter code te hebben aangepast in de oude tool!
Zo ziet u maar dat ook data die ‘opgesloten’ lijkt in een oude database niet persé daar hoeft te blijven. Er is een goed plan A én een goed plan B! Het enige wat u hoeft te doen is hulp vragen aan een specialist voor u uw transformatietraject on hold zet.
Vorig artikel:
Herkent u deze struikelblokken rond data?
