Arbeitspakete

AP 3: KI-basiertes Datenqualitätsmanagement

Die Plausibilitätskontrolle von Niederschlagsdaten stellt in der Praxis eine besondere Herausforderung dar. Anhand der Auswertung einzelner hydrometrischer Sensorinformationen (z.B. Regenschreiber) ist die holistische Bewertung der Datenqualität nur begrenzt möglich. Im Gegensatz zu Sensoren mit kontinuierlicher Datenübertragung (z.B. Pegelmessungen, Durchflussmessungen, Messungen chem.-physikalischer Parameter, u.a.), lassen sich Fehlmessungen nur schwer identifizieren. Übergeordnetes Ziel dieses APs ist es daher, Daten unterschiedlicher wasserwirtschaftlich relevanter Sensoren auf Plausibilität und Genauigkeit zu prüfen, ihre Zuverlässigkeit zu bewerten und wenn möglich, notwendige Korrekturen der Daten nachvollziehbar durchzuführen. Soweit möglich soll eine automatisierte Datenkorrektur erfolgen. Im AP werden im Wesentlichen zwei Ansätze betrachtet: Der Vergleich mit Daten aus benachbarten Sensornetzwerken und der Vergleich zu benachbarten Sensoren desselben Sensornetzwerkes. Neben den klassischen mathematischen Ansätzen werden hier auch auf künstlicher Intelligenz basierende Verfahren betrachtet. Die resultierenden Ergebnisse werden mit den klassischen Verfahren verglichen. Zusätzlich werden bei der Analyse Messdaten berücksichtigt, die von den Niederschlagsinformationen beeinflusst werden (konkret in diesem Projekt z.B. die Abflussmessungen im Entwässerungssystem). Ein technisches Arbeitsziel ist somit die Entwicklung eines Werkzeugs, welches mit Hilfe von KI-basierten Verfahren aus Daten einer Vielzahl mitunter unterschiedlicher Sensoren Rückschlüsse auf die Datenqualität einzelner Sensoren ziehen kann.

Angestrebtes Ergebnis ist eine klassifizierte und indexbasierte Bewertung der Qualität der Daten von eingesetzten Sensoren als Grundlage für das im Gesamtvorhaben angestrebte Frühwarnsystem. Sie basiert auf der Datenqualitätsanalyse und der Imputation von Daten sowie auf KI-Verfahren mit Echtzeitbezug. Die entsprechenden Systeme und Clusteranalysen werden in die in AP 4 angestrebte übergeordnete Plattform integriert. Ergänzend zu den Datenqualitätstools sollen Methoden entwickelt und Werkzeuge bereitgestellt werden, mit denen die räumliche Dichte der Sensoren sowie deren zeitliche Auflösung bewertet werden können. Dadurch können Monitoringstrategien optimiert und eine adaptive Anpassung des verwendeten Sensornetzes durchgeführt werden.

Die in diesem AP entwickelten Methodiken, Strategien und Vorgehensweisen zur Plausibilitätsprüfung sollen möglichst breit von Dritten angewendet werden können und über die in AP 4 aufzustellende Datenplattform allgemein zugänglich sein.

Ansprechpartner:innen: