Kontakt aufnehmen

Kunde

QS Qualität und Sicherheit GmbH

Leistungsumfang

Anforderungsanalyse, Beratung, Konzeption, Programmierung, Projektmanagement, Qualitätssicherung, Softwarearchitektur

Branche

Industrie

Technologien

Docker, Gradle, Java, Java Database Connectivity, JUnit, Kotlin, MariaDB, PostgreSQL, Python, Redis, Debezium, Apache Kafka, Apache Spark

Projektart

Data Analytics, Software-Modernisierung, Webanwendung

Die Herausforderung

Die bestehende Data-Warehouse-Lösung basierte auf individuellen SQL-Funktionen, welche einen kontinuierlichen Betrieb erschwerte und erforderte manuelles Einschreiten bei DDL-Änderungen in den Quelldatenbanken. Die Datenbasis war nicht im Hinblick auf die SQL-Funktionen optimiert und führte zu entsprechenden Performanceproblemen und Instabilität. Ziel war die Einführung eines modernen, skalierbaren Systems mit einem Monitoring samt automatisierten Emails und „data flow“ Überwachung und einer konsolidierten, zukunftssicheren Datenbasis für Reporting und Analyse.

Unsere Lösung

Explicatis entwickelte eine zukunftsfähige Data-Warehouse-Architektur basierend auf Debezium, Apache Kafka und Apache Spark für einen robusten ETL-Prozess. Die Datenhaltung erfolgt konsolidiert in einer PostgreSQL-Datenbank („Data Lake“) mit Erweiterung in eine Core-Datenbank und darauf aufbauende Datenbanken für Analysen. Transformationen wurden automatisiert, um Datenqualität und Performance zu steigern. Das neue System schafft eine saubere, stabile Grundlage samt integriertem Monitoring für flexible und geplante Auswertungen. Individuelle Reporting-Anwendungen können direkt auf die Datenbanken für Analysen aufsetzen. Die Lösung reduziert Abhängigkeiten von manuellen SQL-Optimierungen und erhöht Robustheit, Skalierbarkeit und Zukunftssicherheit.

Die Vorgehensweise

Das Projekt wurde nach agilen Methoden (SCRUM) durchgeführt. Zunächst erfolgte die Konkretisierung der Anforderungen im Product Backlog. Anschließend wurden Architektur und Technologien festgelegt und die Umsetzung in Sprints organisiert. Regelmäßige Lenkungsausschüsse sowie Jour-Fixe-Termine stellten Transparenz und enge Abstimmung sicher. Explicatis ergänzte das agile Vorgehen durch Projektcontrolling, Feinspezifikation sowie einen Qualitätssicherungsprozess. Dadurch konnten Zeit, Budget und Qualität dauerhaft eingehalten werden.

Technologie und Umsetzung

Technologien: PostgreSQL, MariaDB, Apache Kafka, Debezium, Apache Spark, Java Web-App, Redis, Docker, Promethus.
Architektur: ETL mit Debezium & Spark, konsolidierte Data-Lake-
Datenbank, Core-Datenbank für Analyse.
Besonderheit: Transformationen wurden so konzipiert, dass nur relevante Daten übernommen und optimiert verarbeitet werden. Dies gewährleistet hohe Datenqualität, kurze Laufzeiten und minimiert Anpassungsaufwände bei Änderungen

Sie planen eine ähnliche Anwendung?

Jetzt Experten kontaktieren!

Erstgespräch vereinbaren