Daten und Auswertung

Datenqualität und Validierung

Eine Auswertung ist nie besser als der Datenbestand darunter. Wenn Pflichtfelder leer bleiben, dieselbe Person dreimal im System steht und Listen aus einem Altverfahren eigene Regeln mitbringen, kostet jede Zahl zuerst Handarbeit. Sichtbar wird das Problem beim Bericht, entstanden ist es bei der Eingabe.

IT-LV macht Vollständigkeit und Genauigkeit messbar, bringt die Prüfung dorthin, wo die Daten entstehen, und klärt schriftlich, wer für welchen Bestand zuständig ist. Die Umsetzung übernehmen wir selbst, als Generalunternehmer mit ausgewählten Partnern.

1 Vertrag
Ein Ansprechpartner, ausgewählte Partner dahinter
≥ 98 %
Genauigkeit als vertraglicher Zielwert
≤ 30 Min.
Aktualität als vertraglicher Zielwert
Erstgespräch anfragen → Alle Anwendungsfälle

Wie Datenqualität heute entsteht: nebenbei

In vielen Verwaltungen entsteht Datenqualität als Nebenprodukt. Das Fachverfahren erzwingt ein Pflichtfeld, die Excel-Tabelle daneben erzwingt gar nichts, und wenn der Vorgang unter Zeitdruck steht, wird das Feld mit einem Punkt gefüllt oder mit dem Hinweis auf die Akte. Jahrelang fällt das niemandem auf, weil niemand die Daten auswertet. Es fällt in dem Moment auf, in dem jemand eine Zahl daraus ziehen soll.

Dann sitzt eine Sachbearbeiterin drei Tage an einer Liste, die eigentlich auf Knopfdruck kommen sollte. Sie gleicht Schreibweisen ab, entscheidet, ob Musterstraße 4a und Musterstr. 4 a derselbe Fall sind, und ergänzt Felder, die im System leer geblieben sind. Am Ende steht eine Datei, die für diesen einen Bericht stimmt. Beim nächsten Bericht beginnt dieselbe Arbeit von vorn, weil die Korrektur in der Datei stattgefunden hat und nicht im System.

Dazu kommen Daten, die nicht bei Ihnen entstanden sind. Bestände aus einem Altverfahren, das vor zwölf Jahren abgelöst wurde und dessen Feldbedeutungen heute niemand mehr sicher benennen kann. Listen von einem Träger, einem Verband oder einem Dienstleister mit eigenem Format und eigener Vorstellung davon, was Pflicht ist. Diese Daten sind selten falsch, sie sind anders, und der Unterschied wird erst sichtbar, wenn man sie zusammenführt.

Auffällig ist vor allem, wann das alles auffliegt. Nicht beim Erfassen, sondern Monate später, wenn eine Zahl gebraucht wird und niemand mehr rekonstruieren kann, warum ein Feld leer geblieben ist. Bis dahin hat die Fehlerquelle ununterbrochen weitergearbeitet.

Was am Ende dasteht

Am Ende halten Sie nicht eine saubere Datei in der Hand, sondern die Mittel, mit denen die Daten sauber bleiben. Eine einmalige Bereinigung ist nach wenigen Monaten wieder dort, wo sie vorher war, weil die Ursache unverändert weiterläuft. Deshalb liegt der Schwerpunkt auf Regeln, Prüfungen und Zuständigkeiten.

Konkret übergeben wir Ihnen folgende Ergebnisse:

  • Ein Regelwerk je Datenbestand: welche Felder Pflicht sind, welche Werte zulässig sind, welche Kombinationen sich ausschließen. Formuliert in Sätzen, die eine Sachbearbeitung versteht, und zusätzlich als technische Prüfregel.
  • Prüfungen an der Eingabe. Wo das Fachverfahren es zulässt, greifen die Regeln beim Erfassen. Wo es das nicht zulässt, greifen sie an der Schnittstelle davor oder unmittelbar danach, mit Rückmeldung an die erfassende Stelle.
  • Ein Dublettenverfahren mit nachvollziehbaren Entscheidungen: was automatisch zusammengeführt wird, was einer Person zur Prüfung vorgelegt wird und wie eine falsche Zusammenführung rückgängig gemacht wird.
  • Einen Bericht über die Datenqualität selbst: Vollständigkeit je Pflichtfeld, Zahl der offenen Dublettenverdachte, Alter des jüngsten Datenstands, Zahl der abgewiesenen Eingaben. Wöchentlich oder monatlich, an eine benannte Stelle.
  • Eine schriftliche Zuordnung der Verantwortung: welche Rolle welchen Bestand pflegt und wer bei strittigen Fällen entscheidet, abgestimmt mit den betroffenen Fachbereichen.
  • Quellcode, Konfiguration und Dokumentation, dazu einen Übergabetermin mit Ihrer IT. Sie können danach ohne uns weiterarbeiten oder den nächsten Schritt ausschreiben.

So läuft ein Vorhaben ab

Der erste Schritt ist bewusst klein geschnitten. Er soll belegen, ob sich das Thema bei Ihnen lohnt, bevor Sie größer beauftragen.

1

Bestandsaufnahme an einem Datenbestand

Wir nehmen einen Bestand, der Ihnen tatsächlich Ärger macht, und messen ihn. Wie viele Datensätze, wie viele leere Pflichtfelder, wie viele Dublettenverdachte, wie viele Werte außerhalb der zulässigen Liste. Dazu Gespräche mit zwei bis drei Personen, die täglich damit arbeiten. Am Ende steht eine Zahl und kein Eindruck.

2

Regelwerk und Zuständigkeit festlegen

Wir schreiben auf, was ein gültiger Datensatz ist, und lassen das von den betroffenen Fachbereichen bestätigen. Das ist der Teil, der die meiste Abstimmung kostet und am wenigsten nach Technik aussieht. Hier entscheidet sich, ob das Vorhaben trägt.

3

Prüfungen einbauen und Altbestand bereinigen

Die Regeln gehen in die Erfassung oder in die Schnittstelle davor. Parallel läuft der Altbestand einmal durch: automatisch, was eindeutig ist, zur Vorlage, was es nicht ist. Jede Änderung wird protokolliert und bleibt rücknehmbar.

4

Übergabe und Betrieb

Der Qualitätsbericht läuft, die Zuständigkeiten sind benannt, Quellcode und Dokumentation liegen bei Ihrer IT. Danach entscheiden Sie: nächster Bestand, Ausbau oder Ausschreibung. An uns gebunden sind Sie dabei nicht.

Datenqualität ist eine Organisationsfrage

Die Ursache liegt selten im System. Sie liegt in einer offenen Frage: Wer darf entscheiden, was in dieses Feld gehört und was nicht? Solange die Antwort fehlt, füllt jeder Bereich nach eigenem Verständnis, und jede Bereinigung hält nur bis zum nächsten Import.

Wir bereiten diese Entscheidung vor und dokumentieren sie, wir treffen sie nicht. Wir legen den betroffenen Bereichen die strittigen Fälle vor, halten die Antworten fest und formulieren sie so, dass eine Prüfregel daraus werden kann. Die fachliche Hoheit bleibt bei Ihnen, und das ist keine Höflichkeitsformel: Eine Regel, die wir uns ausdenken, hält der ersten Ausnahme nicht stand.

Dazu gehört eine benannte Stelle, die den Qualitätsbericht liest und bei strittigen Fällen entscheidet. Das muss keine neue Stelle sein und beansprucht in der Regel wenige Stunden im Monat. Zeigt sich in der Abstimmung, dass niemand diese Rolle übernehmen möchte, raten wir von der Umsetzung ab. Ohne sie fällt der Bestand zurück, und zwar schneller, als die meisten erwarten.

Wir übernehmen die Rolle der datenpflegenden Stelle nicht dauerhaft. Wir richten sie ein, schulen sie und ziehen uns zurück. Ein externer Dienstleister, der auf Dauer entscheidet, was ein gültiger Datensatz ist, ist ein Risiko und keine Lösung.

Was dabei schwierig ist

Fünf Punkte, an denen Vorhaben zur Datenqualität regelmäßig hängen bleiben. Wir benennen sie vorab, weil sie sich einplanen lassen, wenn man sie kennt.

Die Abstimmung kostet mehr als die Technik

Prüfregeln zu bauen dauert Tage. Sich darauf zu einigen, ob ein Fall mit fehlendem Geburtsdatum gültig ist, dauert Wochen, weil drei Bereiche unterschiedliche Antworten haben und alle drei gute Gründe. Wer den Aufwand schätzt, schätzt meist nur den technischen Teil und liegt deshalb daneben.

Strenge Regeln erzeugen Umgehungen

Blockiert ein Pflichtfeld den Vorgang, den die Sachbearbeitung heute abschließen muss, wird es mit einem Platzhalter gefüllt. Die Zahl der leeren Felder sinkt dann, die Datenqualität nicht. Regeln müssen dort weich bleiben, wo der Vorgang schneller ist als die Information, sonst verschieben sie den Fehler nur.

Das Fachverfahren lässt nicht alles zu

Bei vielen Verfahren ist die Eingabemaske nicht erweiterbar, und Änderungen liegen beim Hersteller. Dann bleibt nur die Prüfung hinter der Erfassung, mit Rückmeldung statt Verhinderung. Das ist die schwächere Lösung, und manchmal ist es die einzige, die in vertretbarer Zeit umsetzbar ist.

Dubletten lassen sich nicht vollständig automatisieren

Zwei Personen mit gleichem Namen unter derselben Anschrift sind kein sicherer Treffer. Jede automatische Zusammenführung, die scharf genug eingestellt ist, um spürbar Arbeit zu sparen, führt irgendwann zwei echte Fälle zusammen. Deshalb gibt es eine Vorlageliste und eine Rücknahme, und beides erzeugt Arbeit, die bleibt.

Wann man es besser lässt

Wird der Bestand absehbar durch eine Verfahrensablösung ersetzt, lohnt eine Bereinigung selten, weil die Migration ohnehin eigene Regeln braucht. Braucht niemand die Auswertung, die am Ende herauskommen soll, lohnt sie nie. In beiden Fällen sagen wir das im Erstgespräch und nicht nach der dritten Abstimmungsrunde.

Woran wir uns messen lassen

Wir arbeiten nicht mit Erfolgsquoten aus anderen Projekten. Was wir stattdessen anbieten, sind Zielwerte, die in den Vertrag gehören und die Sie selbst nachprüfen können. Die folgenden Werte gehören in eine Leistungsbeschreibung und sind dort als Anforderung formuliert, nicht als erreichtes Ergebnis. Sie sind ein brauchbarer Ausgangspunkt für Ihre eigene Leistungsbeschreibung:

  • Genauigkeit: mindestens 98 Prozent der stichprobenhaft geprüften Datensätze stimmen mit der Quelle überein.
  • Vollständigkeit: mindestens 95 Prozent der als Pflicht definierten Felder sind gefüllt, gemessen je Datenbestand.
  • Aktualität: zwischen Änderung in der Quelle und Sichtbarkeit in der Auswertung liegen höchstens 30 Minuten.
  • Antwortzeit: unter 2 Sekunden bei 15 gleichzeitigen Nutzerinnen und Nutzern.
  • Eingabevalidierung: die Fehlerquote der Validierung liegt unter 5 Prozent.
  • Nachvollziehbarkeit: Änderungsprotokoll über alle automatischen und manuellen Korrekturen, dazu tägliche Sicherungen.

Ob sich der Aufwand lohnt, lässt sich vorher überschlagen. Das Folgende ist eine Rechnung und keine Messung, die Annahmen stehen dabei und Sie können sie durch Ihre eigenen ersetzen: Bei 200 Anträgen im Monat und 12 Minuten Erfassung je Vorgang sind das 40 Stunden im Monat allein für die Eingabe. Wird jeder zwanzigste Vorgang wegen eines fehlenden oder falschen Feldes noch einmal angefasst und kostet diese Nacharbeit 15 Minuten, kommen 2,5 Stunden dazu. Wie viel davon eine Prüfregel einspart, hängt an Ihrem Vorgang, und das behaupten wir nicht vorab.

Rechtliches und Beschaffung

Datenqualität ist bei personenbezogenen Daten keine Kür. Art. 5 Abs. 1 Buchstabe d DSGVO verlangt, dass Daten sachlich richtig und erforderlichenfalls auf dem neuesten Stand sind, und dass unrichtige Daten berichtigt oder gelöscht werden. Ein Bestand, in dem zwei Datensätze zu derselben Person unterschiedliche Sachstände führen, verstößt dagegen, unabhängig davon, ob sich jemand beschwert. Ein Dublettenverfahren ist deshalb auch eine Maßnahme zur Rechtstreue und nicht nur zur Statistik.

Soweit wir mit Ihren Daten arbeiten, geschieht das im Auftrag nach Art. 28 DSGVO, mit Vertrag, Datenstandort in der EU und einer offengelegten Liste der Unterauftragnehmer. Kommt für Dublettenerkennung oder Feldzuordnung ein KI-Modell zum Einsatz, legen wir offen, welches Modell es ist, wo es läuft und welche Daten es sieht. Für Testläufe verwenden wir, wo immer es geht, anonymisierte oder synthetische Bestände. Ob eine solche Anwendung als Hochrisiko-System gilt, richtet sich nach ihrem Einsatzzweck und den in Anhang III der KI-Verordnung genannten Bereichen. Menschliche Aufsicht nach Artikel 14 ist dabei keine Ausnahme von der Einstufung, sondern eine Anforderung an Systeme, die darunter fallen. Die Einstufung halten wir vor der Umsetzung schriftlich fest. Genau diese Grenze halten wir schriftlich fest, damit sie später prüfbar bleibt.

Bekommt ein Ergebnis eine Oberfläche, etwa eine Vorlageliste für Dublettenentscheidungen, gilt die BITV 2.0. Das gehört in den Zuschnitt und nicht ans Ende. Beauftragen können Sie den ersten Schritt klein: Wir schneiden die Bestandsaufnahme an einem Datenbestand so zu, dass sie unterhalb der Wertgrenze Ihres Landes für den Direktauftrag oder die Verhandlungsvergabe ohne Teilnahmewettbewerb bleibt. Danach entscheiden Sie mit einem Ergebnis in der Hand, ob Sie ausbauen oder ausschreiben. Für die Umsetzung treten wir als Generalunternehmer auf: ein Vertrag, eine Verantwortung, Partner nur nach Nachweis, EU-Sitz und geprüftem Datenschutz.

Eine Einschränkung gilt ohne Ausnahme: Wo wir für Sie die Vergabeunterlagen geschrieben oder die Markterkundung geführt haben, geben wir auf dieselbe Leistung kein Angebot ab. Das ist die Projektantenstellung nach § 7 VgV, und wir lösen sie nicht durch Offenlegung, sondern durch Verzicht. Sagen Sie uns früh, welche Rolle Sie uns zugedacht haben, dann sortieren wir das vor der ersten Zeile.

Häufige Fragen zu Datenqualität und Validierung

Wir haben nie gemessen, wie schlecht unsere Daten wirklich sind. Ist das ein Hindernis?
Nein, das ist der Normalfall. Genau dafür gibt es die erste Phase: Wir zählen leere Pflichtfelder, Dublettenverdachte und unzulässige Werte in einem Bestand und legen Ihnen das Ergebnis vor. Erst danach entscheiden Sie, ob sich weitere Schritte lohnen. Ohne diese Zahl wäre jede Planung geraten.
Müssen wir dafür unser Fachverfahren wechseln?
In der Regel nicht. Wir setzen auf dem auf, was Sie haben, und prüfen zuerst, ob sich Regeln in der bestehenden Erfassung hinterlegen lassen. Geht das nicht, prüfen wir die Schnittstelle davor oder eine Prüfung unmittelbar nach der Erfassung mit Rückmeldung. Ein Verfahrenswechsel ist eine eigene Entscheidung mit eigener Begründung und nicht die Folge einer Datenqualitätsmaßnahme.
Können Sie unsere Daten nicht einfach einmal bereinigen, dann ist es erledigt?
Das können wir, aber davon raten wir ab, wenn es dabei bleiben soll. Eine reine Bereinigung behebt den Zustand und nicht die Ursache: Die Erfassung läuft unverändert weiter, und nach einigen Monaten sind Sie wieder am Anfang, nur um eine Rechnung ärmer. Sinnvoll ist eine einmalige Bereinigung dann, wenn danach ohnehin ein neues Verfahren übernimmt oder wenn Sie die Regeln und die Zuständigkeit im selben Zug festlegen.
Wer entscheidet am Ende, was ein gültiger Datensatz ist?
Sie. Wir legen die strittigen Fälle vor, moderieren die Abstimmung zwischen den Fachbereichen und schreiben das Ergebnis so auf, dass eine technische Prüfregel daraus werden kann. Die fachliche Entscheidung bleibt bei Ihnen, weil nur Ihre Fachbereiche die Ausnahmen kennen, an denen eine Regel sonst zerbricht.
Setzen Sie KI ein, und wo landen unsere Daten dabei?
Wo ein KI-Modell hilft, etwa beim Abgleich unterschiedlicher Schreibweisen, setzen wir es ein und legen es offen: welches Modell, an welchem Ort es betrieben wird und welche Daten es zu sehen bekommt. Die Verarbeitung läuft im Auftrag nach Art. 28 DSGVO mit Datenstandort in der EU. Für Erprobungen verwenden wir anonymisierte oder synthetische Bestände, wo immer das möglich ist. Entscheiden tut in jedem Fall ein Mensch, das Modell schlägt vor.
Was passiert, wenn zwei Datensätze falsch zusammengeführt wurden?
Jede Zusammenführung wird protokolliert und lässt sich zurücknehmen, einschließlich der Felder, die dabei überschrieben wurden. Deshalb arbeiten wir mit einem Änderungsprotokoll und täglichen Sicherungen. Wir stellen die automatische Zusammenführung außerdem bewusst zurückhaltend ein: Lieber mehr Fälle in der Vorlageliste als eine stille Falschzusammenführung, die erst in einem Widerspruchsverfahren auffällt.
Wir bereiten zu diesem Thema gerade eine Ausschreibung vor. Können Sie sich bewerben?
Das hängt davon ab, ob wir an der Vorbereitung beteiligt waren. Haben wir für Sie die Vergabeunterlagen geschrieben oder die Markterkundung geführt, bieten wir auf diese Ausschreibung nicht mit, § 7 VgV. Haben wir damit nichts zu tun, können wir uns beteiligen wie jeder andere Bieter auch. Klären Sie das bitte, bevor wir inhaltlich einsteigen, sonst verlieren Sie eine der beiden Möglichkeiten.

Ein Datenbestand, eine Messung

Im Erstgespräch sehen wir uns einen Bestand an, der Ihnen tatsächlich Ärger macht, und klären, ob eine Bestandsaufnahme sinnvoll ist und wie klein der erste Schritt ausfallen kann. Das Gespräch ist kostenlos und verpflichtet zu nichts. Wenn wir den Eindruck haben, dass das Vorhaben bei Ihnen nicht trägt, sagen wir Ihnen das dort und nicht später.


Sie haben Fragen?

Vertriebsteam
Unser Vertriebsteam
Wir helfen Ihnen gerne weiter.
sales@it-lv.de 06124 6059217

Quellen

  1. Europäische Union: "Richtlinie (EU) 2022/2555 (NIS-2-Richtlinie)", eur-lex.europa.eu, 2022. Rechtsgrundlage der Cybersicherheits-Pflichten.
  2. Bundesamt für Sicherheit in der Informationstechnik (BSI): "NIS-2: Informationen für regulierte Unternehmen", bsi.bund.de. Registrierung, Meldewege, Einstufung.
  3. BSI: "NIS-2-Betroffenheitsprüfung", betroffenheitspruefung-nis-2.bsi.de. Offizieller Entscheidungsbaum zur Erst-Orientierung.
Inhalt
AusgangslageErgebnisseAblaufZuständigkeitGrenzenMessgrößenRecht und Beschaffung