Aufbau der zentralen Datenplattform eines Data Mesh in einem Großunternehmen
Projektanlass Ein Unternehmen aus dem Bereich der Steuerberatung wollte die in der eigenen Software-Suite anfallenden Daten zusammenführen und für interne Verwendung und Unterstützung der angeschlossenen Kanzleien nutzbar machen. Zu diesem Zweck sollte eine gemeinsame Datenplattform (Self Service Data Platform / SSDP) geschaffen werden, die die Verwaltung der Daten auf Basis des Data-Mesh-Ansatzes ermöglicht.
Hierbei stellen die einzelnen Fachteams (Domains) die von der in ihrem Team entwickelten Software selbst erzeugten Daten in der Form von Datenprodukten bereit, welche dann zu anderen Datenprodukten oder Reports weiterverarbeitet werden können.
Der Aufbau der Plattform sollte schrittweise erfolgen - erst als On-Premise-PoC im eigenen Datencenter und später in der Microsoft Cloud als vollständiges Produkt.
🧩 Aufgaben / Arbeiten im Projekt
- Konzeption und Architektur der Datenplattform (sowohl On-Premise als auch Cloud)
- Technische Basis
- Governance-Prozess
- Installation und Wartung der Plattform
- Entwicklung der initialen ETL/ELT-Prozesse
- Dokumentation und Schulung (Domain Teams)
- Second Level Support für Pilotkunden
💡 Technologien
- Data Mangement
- PostgreSQL
- Spark
- Infrastructure
- Containerization & Provisioning
- Docker
- Kubernetes
- Terraform
- Automation
- Continuous Integration
- GitLab
- Cloud Services
- Azure
- Authentication & Authorization
- Keycloak
- Superset
- Jupyter Lab
- Microsoft Fabric
🎯 Erfolge
In einer ersten Iteration wurde in Kooperation mit dem Enterprise Data Management (EDM) Team innerhalb von 6 Monaten eine erste, grundlegende Lösung mit jeweils drei Datenprodukten und dazugehörigen Dashboards für Kanzleileiter erstellt.
Diese lief im eigenen Rechenzentrum und umfasste neben dem Aufbau der eigentlichen Plattform auch die Entwicklung der Datenprodukte, um Hands-on-Erfahrung zu erhalten, die für die weitere Entwicklung der Prozesse notwendig war.
Nach erfolgreichem Abschluss dieses ersten Schrittes wurden nun erste Kanzleien ongeboarded, um ein direktes Feedback für die Weiterentwicklung der Datenprodukte und Reports zu erhalten. Hierbei leisteten wir nun Support und Wartung der implementierten Lösung, während wir den Fokus auf die Weiterentwicklung der Plattform legten.
Basierend auf den Erfahrungen mit der initialen Plattform wurde nun das Konzept für die cloudbasierte Plattform formuliert und auf Basis des Architekturframeworks Arc42 dokumentiert.