Omfattende ETL i Azure Synapse
Kogenta AS | Steds- og bevegelsesanalyse
Prosjektet handlet om å sette opp et datavarehus og prosessene som henter ut og fyller det med data. De første fasene av prosjektet besto av analyse av rådata for å kunne sette opp arkitektur, samt metodikk for prosessering av rådata. Det ble bygget flere verktøy under denne fasen for å teste ulike tilnærminger for datagenerering og verifisering av resultatet. I samarbeid med et sort spekter av samarbeidspartnere ble reglene for prosessering bestemt og arbeid med å bygge datavarehuset startet. Under denne delen av prosjektet ble Azure synapse valgt som platform for dataprosessering. Prosessering av data ble gjort ved bruk av pipelines og pyspark notebooks, hvor tidligere utformet metodikk ble brukt. Under hele prosjektet ble data validert og testet slik av vi kunne garantere kvalitet på data.