Het belang van goede data kwaliteit

Het is een veelgehoorde term in business-process & intelligence trajecten. Data Quality. Afgekort: DQ. Vertaald vanuit het Engels naar het Nederlands: data kwaliteit. Data kwaliteit kan omschreven worden als de mate waarin data geschikt is voor het doel waarvoor de data gebruikt wordt. Dat betekent, in het geval van die business-process & intelligence trajecten, dat de data geschikt moet zijn als informatiebron om daarmee operationele, tactische en strategische beslissingen te kunnen maken. 

Hoe wordt data quality over het algemeen gezien?

In praktijk hebben de collega’s, die op een bepaalde manier betrokken zijn bij business-process & intelligence trajecten, vaak een vrij technische voorstelling van wat data quality is; namelijk dat bronsystemen foute gegevens bevatten die opgeschoond moeten worden. Uiteraard kunnen er in ieder business-process & intelligence traject op een bepaald moment enige issues met betrekking tot data naar boven komen. Het kan zijn dat die data issues snel verholpen worden, maar het kan ook zijn dat dit niet zo is. In dat geval is er sprake van een serieuze bedreiging voor de betrouwbaarheid en het succes van het automatiseringssysteem. Immers, data die bijvoorbeeld onduidelijk, incompleet of foutief is, staat gelijk aan informatie die feitelijk onbruikbaar is. Het algemene beeld van data kwaliteit verder is dat medewerkers vaak een technische oplossing van de IT-afdeling hiervoor verwachten, omdat het bij een automatiseringssysteem om grote hoeveelheden data gaat, waardoor het verbeteren van die fouten al gauw een omvangrijke klus is. 

Hoe wordt bepaald of data kwaliteit goed is?

In theorie mag de data wel fouten bevatten. Hoe gek dat misschien ook klinkt, goede data kwaliteit wordt onder meer bepaald door de aanwezigheid van fouten. Wanneer duidelijk is dat de data voor 95% correct is, kan er besloten worden dat dit voldoende is om op basis daarvan die operationele, tactische en strategische beslissingen te doen. Daarnaast kan data kwaliteit gemeten en gemonitord worden aan de hand van de aspecten tijdigheid, volledigheid, accuraatheid, mate van consistentie, begrijpbaarheid en uniekheid. Deze aspecten bepalen de mate van geschiktheid voor een bepaald doel. Zo gaat bijvoorbeeld tijdigheid over de mate waarin de data op tijd aanwezig is en draagt begrijpbaarheid nu nog vaak bij aan slechte data kwaliteit, omdat de gehanteerde definities (metadata) niet te begrijpen zijn. 

Door zo naar deze aspecten in relatie tot de voorhanden data te kijken, kan de kwaliteit ervan verbeterd worden met behulp van verschillende tools. Die tools kunnen eventuele data issues detecteren, rapporteren en opschonen, waardoor er in uiteindelijk nóg betere beslissingen kunnen worden gemaakt.