Ausgangslage
Im Zuge eines konzernweiten Programms zur Verbesserung der technischen und prozessualen Datenverarbeitung in einem größeren deutschen Stadtwerke-Unternehmen sollen eine zentrale Datenplattform aufgebaut und klarere Data Governance-Strukturen etabliert werden. Mittelfristiges Ziel ist die Vereinheitlichung und Verknüpfung dezentraler Datentöpfe sowie die Ablösung Excel-basierter End-User-Anwendungen (EUAs), um eine fundierte Grundlage für zukünftige Datenanalysen, auch unter Einbeziehung von KI-Methoden zu schaffen.
Noch vor der Einführung der finalen Datenplattform sollen im Rahmen eines Leuchtturmprojektes bestehende Konzepte zum Datenmodell und zur Data Governance beispielhaft für Marktdaten des Energiehandels und Risikomanagements praktisch verprobt und weiterentwickelt werden.
Projektinhalt
- Bereitstellung eines Datenbank- und Applikations-Servers für die prototypische Umsetzung
- Anbindung externer Marktdatenquellen
- Aufbau eines Datenmodells gemäß Vorgaben des Programms (Data Vault 2.0)
- Erstellung automatisierter Qualitätssicherungsroutinen
- Erstellung erster Marktdatenberichte nach technischen Vorgaben des Programms (Power BI)
Unsere Leistungen
- Implementierung eines täglichen Imports von EEX-Preisen mittels Rest-API und von PFC-Dateien
- Konzeption und skriptbasierte Umsetzung eines Data Vault 2.0-konformen Datenmodells für den Marktdatenbereich
- Ergänzung der Datenarchitektur um Komponenten zur Dokumentation von Data Governance-Strukturen, z.B. Data Ownership
- Automatisierung bestehender Qualitäts-Checks sowie Erweiterung um zusätzliche Prüfroutinen
- Überführung existierender Marktdatenberichte in Power BI sowie Veröffentlichung via Web Application
- Konzeptioneller Vorschlag und prototypischen Umsetzung einer automatisierten Dokumentation von Datenflüssen, Datenmodell und Data Governance-Informationen in Confluence
Kundennutzen
Die prototypische Implementierung der Datenverarbeitung konnte die Tragfähigkeit der im Programm entwickelten Konzepte bestätigen und diese sinnvoll weiterentwickeln. Durch den erhöhten Automatisierungsgrad wurde Prozesse nicht nur beschleunigt, sondern auch auditfähig gemacht. Weitere Verbesserungen der Data Governance ergaben sich durch klare Zuweisung der Data Ownership und einer stets korrekten und aktuellen, da Code-basierten Dokumentation. Die skriptbasierte Umsetzung erlaubt schließlich den Transfer auf die finale Datenarchitektur mit minimalem Aufwand, ohne die erzielten Ergebnisse und fachlichen Verbesserungen zu verlieren.
Relevante Kenntnisse/Tools
- databricks
- Power BI
- Data Vault 2.0
- Python
- Git
- Confluence
- Azure DevOps
