Dit project creëert een kant en klare infrastructuur waarmee modelleurs van over de hele wereld samen snel de best presterende modellen kunnen maken om besluitvormers tijdens een pandemie snelle, transparante en nauwkeurige (beslis-)ondersteuning te bieden.
Dit project creëert een kant en klare infrastructuur waarmee modelleurs van over de hele wereld samen snel de best presterende modellen kunnen maken om besluitvormers tijdens een pandemie snelle, transparante en nauwkeurige (beslis-)ondersteuning te bieden. Hindernissen voor gegevenstoegang worden opgelost door middel van een unieke privacy-by-design aanpak die gevoelige gegevens isoleert van experts, maar toch efficiënte modelontwikkeling mogelijk maakt. Daarnaast wordt de modelontwikkeling versneld door een open source (gratis te gebruiken) infrastructuur aan te bieden met actuele gegevens en modellen. Het hele project omvat een samenwerkingscentrum voor de modelleurs gemeenschap met controletraject voor het indienen en valideren van modellen om ervoor te zorgen dat beleidsmakers direct toegang hebben tot de beste modellen en voorspellingen, modelleurs van elkaar kunnen leren en weten wat er al ontwikkeld wordt.
De infrastructuur die we voorstellen bestaat uit drie hoofdonderdelen: een Model Development & Collaboration hub (MDC hub), een
Trusted Model Validation Environment (TMVE) en een Model Submission and Leaderboard API (MSLAB-API, API betekent application programming interface).
De MDC hub is een flexibele computeromgeving die DAM experts wereldwijd kunnen gebruiken om samen te werken, hun modellen te ontwikkelen en analyses uit te voeren. Deze gebruiksklare, flexibele, reproduceerbare virtuele omgeving bevat up-to-date synthetische gegevens, modellen, gestandaardiseerde prestatiemetingen en een MSLAB-API-aanroepservice voor het indienen van modellen met afhankelijkheden.
De TMVE is een afgeschermde omgeving onder toezicht, zonder internettoegang, die veilig echte gegevens kan herbergen en waar geverifieerde modellen veilig kunnen draaien en gestandaardiseerde prestatierapporten kunnen genereren.
De MSLAB-API kan worden aangeroepen vanuit de MDC hub voor een nieuw model, waarbij een AI-gebaseerde code checker wordt aangeroepen die checkt of er geen malafide zaken gebeuren in het model en de TMVE-operator wordt gewaarschuwd indien nodig.
Modellen die als veilig worden beschouwd, kunnen handmatig worden overgedragen en veilig worden uitgevoerd in de TMVE (volledig gecontroleerd), wat resulteert in een gestandaardiseerd rapport over de prestaties van het model zonder privacy risico’s. Dit rapport wordt overgebracht naar de MSLAB API en teruggestuurd naar de modelleur. Het gecontroleerde model met analyse wordt toegevoegd aan een online, volledig transparant open leaderboard. Deelname aan leaderboards kan vrijwillig zijn of door middel van stimulansen zoals bounties, sponsoring door de overheid of door vereisten van funders om de ontwikkeling te versnellen.
