De uitdaging
Een terugkerend exportproces kostte veel handmatig werk en was daardoor tijdrovend en foutgevoelig.
Terug naar portfolio
Circa 40 minuten tijdsbesparing
Invisor · opdrachtgeversproject
Invisor DataFlow
Een Python-oplossing waarmee CBS-cijfers automatisch werden opgehaald, gecontroleerd, opgeslagen en geëxporteerd naar bestaande datamodellen.
De bron
Openbare datasets werden via de CBS StatLine OData-API opgehaald en verwerkt.
Mijn aanpak
Ik ontwikkelde een Python-applicatie die datasets ophaalt, naar SQL Server schrijft, controleert en gericht exporteert.
Het resultaat
Circa 40 minuten tijdsbesparing per export en een minder foutgevoelig, herhaalbaar proces.
1. Data ophalen
Datasets ophalen via de CBS StatLine OData-API.
2. Centraal opslaan
De gegevens wegschrijven naar de SQL Server-database van Invisor.
3. Controleren
Tussentijdse controle op actualiteit en volledigheid van de data.
4. Gericht exporteren
Met Python en SQL de juiste data filteren voor bestaande datamodellen.
Van API tot datamodel
Een herhaalbare datastroom
De oplossing bracht het ophalen, beheren, controleren en exporteren van openbare CBS-data samen in één proces. Hierdoor hoefden exports niet meer telkens handmatig te worden samengesteld.