Wat bespiegelingen mijnerzijds over plausibiliteitsscore.
Het RIVM voorziet momenteel alleen SDS011 sensoren van een pluasibiliteitsscore, zie Plausibiliteit van de fijnstofmeting: Beoordelen kwaliteit meetwaarde van goedkope fijnstofsensoren | Samen meten aan luchtkwaliteit
Sinds december 2023 krijgt ook elke sps30 sensorwel een âRIVM fijnstofkalibratiewaardeâ, maar wordt nog niet van plausibiliteitsscore voorzien. Als je kan kalibreren, dan kan je plausibiliseren.
Waarom de sps030 nog geen plausibiliteitsscore krijgt is mij niet duidelijk ?
In de communicatie is dit niet handig: de waarde âplausibiliteit onbepaaldâ wordt door sommige âlangehalen snel thuis adviseursâ direct doorvertaald naar âsensor onbetrouwbaarâ, terwijl de sps30 , ook bij het RIVM juist een betere pm25 betrouwbaarheids reputatie heeft dan de sds011.
We zoeken uit wat plausibiliteit eigenlijk is: Whereas we could say of a statement that is probable or possible, we would rather speak of a plausible argument or plausible reasoning. Plausibility, therefore, has much to do with how we reason and how we construct a convincing argument than with the actual ââtruth-valueââ of a claim.
(https://cspo.org/wp-content/uploads/2014/11/read_van-der-Helm-Towards-a-Clarification-of-Probability.pdf )
Terugvertalend naar onze luchtkwaliteitsituatie: Je kunt dus zeggen dat een meting plausibel is, maar wat betekent het om daar dan vervolgens een score aan te hangen ?
Een plausibiliteit score van 5 , is dat zoiets als: âde kans dat deze meetwaarde binnen een interval van 15% correct isâ is groter dan 90% ? Of âin 90% van de tijd is de afwijking van de ruwe sensorwaarde tov de rivm kalibratiescore zeer gering, dwz minder dan x%â
En wat worden die grenswaardes dan voor een plausibiliteitsscore van 3 ?
De reasoning die het RIVM doet is globaal beschreven:
- Hoort de meetwaarde bij de 5% hoogste meetwaardes van heel Nederland?
- Hoort de meetwaarde bij de 5% laagste meetwaardes van heel Nederland?
- Hoort de meetwaarde bij de hoogste of laagste waarden van zijn kalibratiegroep?
- Verschilt de meting een factor 2 of meer met een nabijgelegen officieel meetstation?
- Is de kalibratieonzekerheid groter dan 30%? Deze kalibratieonzekerheid neemt toe als de er grote verschillen zijn de lokale fijnstof concentraties. Dan is het officiële meetstation namelijk minder representatief hoe verder je van dat station bent. In de Noordelijke provincies zijn bijvoorbeeld weinig officiële meetstations, daar is de kans op een lagere score dus groter.
- Staat deze sensor korter dan 300 uur aan?
- Heeft deze sensor regelmatig een lagere plausibiliteit gekregen
- Hoort de sensor regelmatig bij de 5% hoogste meetwaardes van heel Nederland?
- Hoort de sensor regelmatig bij de 5% laagste meetwaardes van heel Nederland?
Helaas is het exacte algorithme niet publiekelijk beschikbaar en roept deze uitleg vervolgvragen op:
Hoe tellen de individuele punten mee in de ster uitgave ? Bijvoorbeeld, als ik in een structureel slechte fijnstofregio woon, dan scoor ik niet goed op punten 1, (misschien 4) ,7 en 8, wat is dan nog mijn maximale plausibiliteit ?
ad 3: Wat is de kalibratiegroep definitie (missschien alle sensoren van hetzelfde type, geclusterd binnen een bepaalde geo ruimte )en wat betekent hoog/laag in de groep ?
ad 5: de kalibratieonzekerheden zelf zijn als data niet publiekelijk beschikbaar.
ad 4: Als de meetwaardes laag zijn, is een factor 2 verschil niet zo buitengewoon.
Zou een sensor over de tijd geleidelijk aan steeds minder plausibel worden ?
Vaak begeeft de laser het na een paar jaar en is de sensor van ene op andere moment onbruikbaar geworden.
âVertrouwen komt te voet en gaat te paardâ, hoe zit dat met plausibiliteit ?
Een tweetal SDS011 sensoren die we ooit gebruikt hadden en al meer dan een half jaar de kast lagen (omdat de wifi verbinding niet geweldig was ) hebben we opnieuw aangesloten.
Binnen een dag hadden beide sensoren een plausibiliteit van 4 en 5 sterren, dus dat criterium van de afgelopen 300 uur in de lucht zijn, is wat flexibel.
Vervolgens hebben we een van de sensoren binnenshuis geplaatst. Ik heb de plausibiliteit nog niet geleidelijk aan minder zien worden .
Een andere Goudse sensor, LTD_46278, geeft stelselmatig lage pm2.5 waardes, m.i veel te laag, zeker vergeleken met de buur sensoren, toch varieert de plausinbiliteit van deze senor tussen 4 en 5.
Wat je eigenlijk zou willen weten is of de plausibiliteit inderdaad strict gecorreleerd is met de sensor en niet met de locatie. Je zou een 5 sterren sensor en een 1 sterren sensor van locatie kunnen laten wisselen.
Om dat statistisch verantwoord te doen is zoân grote operatie nodig dat we dit idee maar snel terzijde schuiven vanwege praktische redenen.
Samenvattend hoop ik plausibel te hebben gemaakt, dat er rond het rivm begrip sensor plausibiliteit nog veel detail onduidelijk is.
Suggesties ter verheldering zijn welkom !