Project KAFE_06 Kalibratie:None

Op de Samen Meten - Dataportaal zie je regelmatig een meetgat.
Standaard worden de gekalibreerde waardes doorgegeven en blijkbaar hebben we een “None” kalibreer waarde.

Wat is er aan de hand , want vaak heeft sensor heeft tijdstippen wel degelijk zijn ruwe meetwaardes doorgegeven?

Als we zelf zouden raden naar mogelijke redenen:

  1. de meest invloedrijke rivm stations hadden op dat moment geen (betrouwbare)meetwaarde
  2. het kalibratiealgoritme kon niet tijdig runnen

Een andere gedachtenkronkel keuren we zelf af “de meest invloedrijke rivm stations hadden op dat moment niet een voldoende grote groep van SDSsensoren”. In dat geval zou de interpolatie voor de correctiefactor berekening plastsvinden vanuit de overige rivm stations.

Een voorbeeld van missende kal waarde (zowel voor PM10 als PM2.5) is mijn Goudse sensor LTD_22268 op31 Maart 2021, die mist een enkele kal waarde op 04:00, zie de samenmeten site.
De NL01489 (Referentie verkeersbelast) en de NL10644 (Referentie achtergrond) geven nu (half juni)
allebei voor 3 Maart op 04:00 redelijke waardes

Nu is het al dan niet geldig zijn van een rivm 2.5 meting niet een triviale aangelegenheid zie

PM2.5 apparatuur is gevoelig voor condensvorming. Bij hoge buitentemperaturen is de kans op condensvorming groter. De meetapparatuur keurt een meting automatisch af wanneer condensvorming verwacht wordt. Volgens de automatische instellingen in de meetapparatuur wordt condensvorming verwacht wanneer het verschil tussen de buitenluchttemperatuur en temperatuur in het meetinstrument klein is. Bij hoge buitenluchttemperaturen is de kans groot dat het temperatuurverschil klein is en de metingen automatisch worden afgekeurd. Als gevolg hiervan ontbreken PM2.5 metingen soms als de buitentemperatuur hoog is. Indien later bij controle door de meetnetbeheerder blijkt dat een meting toch correct heeft plaatsgevonden worden metingen alsnog goedgekeurd.

Het zou dus kunnen zijn dat de metingen automatisch afgekeurd waren, het algoritme kon niet lopen, vervolgens werden de metingen goedgekeurd, maar het kalibratiealgoritme had zijn beurt al gehad.

Als dit het geval is, wat zou erop tegen zijn om het kalibratiealgoritme alsnog, in een soort opruimactie achteraf te runnen ?

Een andere doodlopende ingeving: met de voorbeeldcode zijn ook nl testdata meegekomen, en toevallig zit
daarin ook 31 Maart 2021
We laden die data en hopen uit de voorbeeldcode te kunnen destilleren wat de oorzaak van de “None” zou kunnen
zijn.
Helaas, wat blijkt : de ruwe meetwaarde van precies dit ene betreffende uur ontbreekt in de voorbeeld data. Dat kan geen toeval zijn, maar brengt de oorzaak van de none niet dichterbij.

In de voorbeeldcode wordt er kwistig gestrooid met NA (NonAvailables) , bestudering levert nog niet meteen nieuwe inzichten op.

De zoektocht naar het waarom None levert nu dus nog None bevredigend antwoord op.

Opmerkelijk terzijde: de SPS030 sensoren worden niet meegenomen in het kalibratie algoritme.
De kal waarde voor die sensoren is gelijk aan de ruwe meetwaarde,toch vertoont ook de SPS030 kal waarde gaten ! Zie bv begin juni voor the Fluwelensingel thuissensor LTD_46154

Tweede terzijde: Schoonhoven (NL10644) kent een stevig gat van PM2.5 metingen tussen 3 en 4 Juni, zouden deze systemen automatisch gemonitord worden ?