Datenintegration-Effizienter Datenaustausch mit verteilten IT-Systemen
Datenintegration - Effizienter Datenaustausch mit verteilten IT-Systemen
Am Beispiel der Verknüpfung von Online-Marktplätzen und Zahlungsdienstleistern
Inhaltsverzeichnis:
Vorwort: Zentrale Datenerfassung
1. Qualitätskriterien bei der Entwicklung einer Datenintegrationslösung
2. Einsatz einer Datenintegrationsplattform am Beispiel edbic
3. Beispielprojekt: „Integration von Online-Marktplätzen und Zahlungsdienstleistern“
4. Tipps aus der Praxis
Zusammenfassung
Vorwort: Zentrale Datenerfassung
Für Softwarelösungen in heutigen IT-Landschaften werden häufig Daten von einer großen Anzahl unterschiedlichster Systeme benötigt. Dabei können die Systeme verschiedenste Technologien zur Anbindung ihrer Schnittstellen zur Verfügung stellen. Auch das Format, die Struktur und die Qualität der Daten haben in aller Regel je nach System beträchtliche Unterschiede.
Um diese Daten zu erfassen, auszuwerten, zu transformieren und weitere Schritte auszuführen, sind verschiedenste Architekturmöglichkeiten für die Datenintegrationslösung denkbar.
In diesem Blog-Artikel wird darauf eingegangen, welche Faktoren Sie bei der Entwicklung einer Datenintegrationslösung bedenken sollten und wie Sie diese bestmöglich durch den Einsatz einer zentralen Datenintegrationsplattform erreichen können.
1. Qualitätskriterien bei der Entwicklung einer Datenintegrationslösung
Bei der Entwicklung einer Datenintegrationslösung gibt es einiges zu beachten, um langfristig erfolgreich zu sein. Dies liegt insbesondere daran, dass die Systeme mit der Zeit immer umfangreicher werden. Aus unserer Erfahrung sind in solchen Projekten folgende Faktoren sehr wichtig:
- Entwicklungsgeschwindigkeit
Da die Entwicklung komplexer Datenintegrationslösungen aufwändig und dadurch mit hohen Kosten verbunden ist, sollte die benötigte Zeit zur Anbindung von Systemen so gering wie möglich ausfallen. Hierfür wirkt es sich positiv aus, vorgefertigte Komponenten zur Verfügung zu haben. Mit diesen können viele Anbindungen und Datentransformationen durch einfache Konfiguration anstelle von manueller Programmierung erfolgen. Dies wirkt sich auch positiv auf die Softwarequalität aus, da Fehler durch die Nutzung bereits getesteter Funktionalitäten auf ein Minimum reduziert werden können. Des Weiteren ist es wichtig, einfache Änderungen von Programmlogiken jederzeit vornehmen zu können. Im Idealfall sollten Änderungen innerhalb weniger Sekunden aktiv geschaltet werden. Dies hilft insbesondere in frühen Phasen des Projektes schnelle Feedbacks ohne langwierigen Entwicklungsprozess zu erhalten. - Flexibilität
Trotz vorgefertigter Komponenten, welche viel Zeit und damit Geld sparen können, ist es wichtig, zukunftssicher und flexibel zu sein. Dies kann dadurch erreicht werden, dass die direkte Programmierung spezieller Abläufe jederzeit möglich ist. - Monitoring / Überwachung
Während der Entwicklung, aber insbesondere auch in der produktiven Phase, werden meist eine große Menge an Daten zwischen der Datenintegrationslösung und den angebundenen Systemen ausgetauscht. Hierbei ist eine gute Überwachung der einzelnen Aktionen erforderlich. Besonders für den Fehlerfall muss eine einfache Rückverfolgung jedes einzelnen Schrittes gewährleistet werden. - Benötigtes Know-how zur Entwicklung
Da IT-Fachkräfte, insbesondere Softwareentwickler, auf dem Arbeitsmarkt knapp sind, ist es von Vorteil, wenn einige Tätigkeiten beim Aufbau der Datenintegrationslösung von Mitarbeitern mit geringerer Erfahrung im Bereich der Softwareentwicklung bereits nach wenigen Tagen eigenständig ausgeführt werden können. - Skalierbarkeit / Performance & Ausfallsicherheit
Die benötigte Leistung kann zu Beginn eines größeren Integrationsprojektes oft nur schwer vorhergesagt werden, da jederzeit neue Benutzer, Systeme und Anforderungen hinzukommen können. Daher sollte darauf geachtet werden, dass die Lösung performant, skalierbar (z. B. durch das Starten weiterer Microservices) und durch die Replikation ganzer Komponenten wie der Datenbank ausfallsicher ist. - Einfache Nutzung von Entwicklungs-, Test-, und Produktivumgebung
Da stets unterschiedliche Systeme für Entwicklungs-, Test- und Produktivphase benötigt werden, muss eine einfache Synchronisierung zwischen diesen Umgebungen möglich sein. - Testbarkeit
Die Lösung sollte so konzipiert werden, dass neue Anbindungen durch die Verwendung vorgefertigter bereits getesteter Funktionen so wenig wie möglich Tests benötigen. Bei einem Datenaustausch mit mehreren Systemen sind insbesondere Integrationstests wichtig. - Erweiterbarkeit & Entkopplung von Programmlogiken
Die Anbindung neuer Systeme sollte jederzeit einfach möglich sein. Generell ist es ratsam, darauf zu achten, dass die Anbindung neuer Systeme nicht den Ablauf bereits bestehender Anbindungen beeinflusst, um auch in der Zukunft ein stabiles anpassungsfähiges System sicherzustellen. - Sichere Authentifizierung
Sowohl die Datenintegrationslösung selbst als auch die Kommunikation mit den angebundenen Systemen sollten auf sichere Authentifizierungsverfahren setzen. Dabei hat sich insbesondere OAuth 2.0 als de facto Webstandard etabliert.
Die Relevanz dieser Faktoren für die Lösung zeigt sich insbesondere bei steigender Anzahl der angebundenen Systeme bzw. zunehmender Komplexität. Eine gute Lösungsmöglichkeit ist der im nächsten Abschnitt beschriebene Einsatz einer zentralen Datenintegrationsplattform.
2. Einsatz einer Datenintegrationsplattform am Beispiel edbic
Eine zentrale Erfassung der Daten aller angebundenen Systeme ist in der Regel sinnvoll, um die im vorherigen Abschnitt beschriebenen Qualitätskriterien zu erreichen. Insbesondere die Reduzierung der Komplexität, die einfache Überwachung von Prozessen und auch die Wiederverwendung entwickelter Funktionalitäten sprechen für den Einsatz einer zentralen Datenintegrationsplattform.
Jedes Datenintegrationsprodukt verhält sich dabei unterschiedlich und kann die einzelnen Faktoren somit auch unterschiedlich gut erfüllen. Im Folgenden wird anhand einiger der im vorherigen Abschnitt beschriebenen Faktoren konkret gezeigt, wie wir diese mit unserer Datenintegrationsplattform edbic für Kunden, aber auch für uns selbst bestmöglich lösen:
- Entwicklungsgeschwindigkeit
Mittels edbic können Prozesse modelliert werden, welche den Datenaustausch mit anderen Systemen und die weitere Datenverarbeitung abbilden. Das Business Integration Cluster edbic bietet viele vorgefertigte Komponenten zur Erstellung eines solchen Prozesses. Beispielsweise kann eine Schnittstelle durch das einfache Auswählen eines Prozessschrittes und wenigen konfigurativen Angaben erstellt (ReceiveHttp) oder aufgerufen werden (SendHttp). Auch zur Verarbeitung der empfangenen Daten in weiteren Prozessschritten stehen zahlreiche Komponenten zur Verfügung. Zur Kommunikation mit verteilten Systemen können zentral definierte Services wie z.B. ein HTTP Client oder eine Datenbankverbindung einmalig eingerichtet und an mehreren Stellen wiederverwendet werden. Auch die mehrfache Verwendung von Prozessabläufen ist durch die Definition von speziellen Prozessen möglich. Diese Abläufe können dann in verschiedenen Prozessen genutzt werden und sparen Entwicklungszeit bei der Erstellung neuer Anbindungen. Durch die große Anzahl an vorgefertigten Komponenten kann ein solcher Prozess sehr schnell und einfach erstellt werden. Um eine Änderung der Geschäftslogik vorzunehmen, muss lediglich der Prozess angepasst und der Neustart-Knopf betätigt werden. Anschließend ist die Änderung auf dem genutzten System direkt aktiv. Die Prozesse werden grafisch abgebildet. Dies ermöglicht Projektmitarbeitern ein schnelles Verständnis der Abläufe. - Flexibilität
Eine Anbindung an nahezu alle Systeme ist einfach realisierbar. Zu den vorgefertigten Komponenten gehören bei edbic auch solche, die eine freie Programmierung von Logiken ermöglichen. Jegliche Java Bibliotheken können dabei genutzt werden. Dadurch ist es auch möglich, spezielle Prozessabläufe abzubilden. - Monitoring / Überwachung
Jedes Mal, wenn in edbic ein Prozess ausgeführt wird, erzeugt dieser eine sogenannte Prozessinstanz. Alle Prozessinstanzen können im Monitoring betrachtet werden. Dabei kann jeder einzelne Prozessschritt nachvollzogen und Fehler sowie deren Ursache meist schnell gefunden werden. - Benötigtes Know-how zur Entwicklung
Durch die große Anzahl vorgefertigter Komponenten sowie deren einfache Konfiguration und die grafische Visualisierung des Ablaufs, kann eine große Bandbreite an Mitarbeitern die Entwicklung und Wartung der Prozessabläufe unterstützen. Auch die systeminterne Programmiersprache TE2 bietet durch zahlreiche Vereinfachungen und vorgefertigte Funktionalitäten (z. B. JSON Reader) Programmiereinsteigern schnelle Erfolge. Es werden somit nicht ausschließlich erfahrene Softwareentwickler benötigt. - Skalierbarkeit / Performance & Ausfallsicherheit
Die Datenintegrationslösung edbic ist generell für eine hohe Systemperformance ausgelegt. Je nach Hardware ist die Ausführung mehrerer Millionen komplexer Prozessinstanzen täglich kein Problem. Die hohe Performance wird auch dadurch erreicht, dass Bestandteile der repliziert und damit auf verschiedene Systeme verteilt werden können (Skalierbarkeit). Dies ermöglicht zudem eine hohe Ausfallsicherheit, da ein Fehler einer einzelnen Komponente im Clusterbetrieb nicht das gesamte System beeinträchtigt. - Einfache Nutzung von Entwicklungs-, Test-, und Produktivumgebung
Prozesse, Services und ganze Workspaces können jederzeit von einem edbic System exportiert und in ein anderes System importiert werden. - Testbarkeit
Einfach können auch Prozesse zum automatisierten Testen anderer Prozesse erstellt werden. Durch den Testprozess können dabei verschiedene Funktionalitäten aufgerufen und das Ergebnis anschließend mit den zu erwartenden Werten durch einen vorgefertigten Funktionsbaustein verglichen werden. Das ergibt einen großen Geschwindigkeitsvorteil, da ein solcher Prozess in der Regel mit wenigen Mausklicks und Konfigurationsangaben der einzelnen Prozessschritte erstellt werden kann.
Nähere Informationen zur Datenintegrationsplattform edbic finden Sie unter https://compacer.com/produkte/edbic/
3. Beispielprojekt: „Integration von Online-Marktplätzen und Zahlungsdienstleistern“
Im Web gibt es eine große Anzahl an Marktplätzen und Zahlungsdienstleistern. Meistens bieten Verkäufer ihre Ware auf unterschiedlichen Plattformen wie „Amazon“, „eBay“ oder „Shopify“ an. Zahlungen können wiederum durch mehrere Wege, zum Beispiel per „PayPal“, „Klarna“ oder klassischer Banküberweisung erfolgen. Für Verkäufer ist es dadurch zeitintensiv, sich einen guten Gesamtüberblick zu verschaffen. Häufig muss dieser sich in jedes System einzeln einloggen und hat große Aufwände bei der Überwachung der Bestellungen, Transaktionen und der Übermittlung von relevanten Daten an das Finanzamt.
Um dem Verkäufer die Übersicht seiner Daten zu vereinfachen, hilft edbic als Datendrehscheibe, dass diese Informationen in einer einzigen Applikation angezeigt werden können. Der Vorteil für den Käufer: Er hat einen Gesamtüberblick und mehr Transparenz über seine Belege, Finanz- und Rechnungs- sowie Bestelldaten.
edbic ist hier so konfiguriert, dass nicht nur Daten der verschiedenen angebundenen Systeme einbezogen, sondern diese auch entsprechend transformiert und vorbereitet werden, um dem Verkäufer automatisiert bei der vorbereitenden Buchhaltung zu unterstützen.
Nähere Details zur Finance Management App capitain.io, welche viele weitere Funktionalitäten bietet, finden Sie unter: https://www.capitain.io/
4. Tipps aus der Praxis
Als Leitfaden für die Entwicklung einer Datenintegrationslösung, bei der verschiedene Systeme durch Schnittstellen angebunden werden, könnten unsere nachfolgenden Praxis Tipps hilfreich sein:
- Der Einsatz einer Datenintegrationsplattform hat sich als sehr sinnvoll herausgestellt. Die Entwicklung der gesamten Serverapplikation kann dadurch innerhalb kurzer Zeit realisiert werden. Dies liegt daran, dass Systemanbindungen und Datentransformationen durch die Verwendung von vorgefertigten Funktionen und Services innerhalb der modellierten Prozesse schnell möglich sind. Besonders durch den Austausch großer Datenmengen mit vielen verschiedenen Systemen ist das Monitoring zur Nachverfolgung jedes einzelnen Schrittes sehr wichtig. Da sich die verwendeten Technologien inklusive Authentifizierungsmöglichkeiten je nach System stark unterscheiden, ist es von Vorteil eine Datenintegrationsplattform im Einsatz zu haben, die volle Flexibilität durch die Unterstützung sämtlicher Technologien und die Einbettungsmöglichkeit individuell programmierter Prozessbausteine zur Verfügung stellt.
- Wenn mehrere Systeme in einer ähnlichen Art und Weise angebunden werden, empfiehlt es sich, die Software konfigurierbar zu gestalten. Dies kann dadurch erfolgen, dass die Abläufe dynamische Werte aus Konfigurationsdateien verwenden. Bei der Anbindung eines neuen Systems kann dann zum Beispiel durch einen HTTP-Aufruf mit einer passenden Konfigurationsangabe im JSON Datenformat zumindest ein Teil der Anbindung automatisiert ausgeführt werden. Die Entwicklung solcher dynamischer Prozessabläufe und Konfigurationsschnittstellen bedeutet zwar zunächst einen Mehraufwand, der sich aber bei steigender Anzahl der integrierten Systeme bzw. bei wachsender Komplexität in Form eines Zeitgewinns sowie erhöhter Systemstabilität auszahlt.
- Wenn es sich wie bei diesem Anwendungsfall um hochsensible Daten handelt oder Daten ebenfalls revisionssicher abgelegt werden müssen, bietet es sich an, eine Datenbank zu nutzen, welche eine Verschlüsselung und eine revisionssichere Speicherung einfach ermöglicht. Dies spart Zeit und bietet rechtliche Sicherheit.
Zusammenfassung
Bei der Entwicklung einer Datenintegrationslösung sind die Entwicklungsgeschwindigkeit, die Flexibilität und ein detailliertes Monitoring von enormer Bedeutung.
Der Einsatz einer zentralen Datenintegrationsplattform wie zum Beispiel edbic kann hierbei äußerst hilfreich sein. Insbesondere die Reduktion der Komplexität, die einfache Überwachung von Prozessen und auch die Wiederverwendung entwickelter Funktionalitäten sprechen für den Einsatz einer zentralen Datenintegrationsplattform.
Die Entwicklung dynamischer Prozessabläufe und Konfigurationsschnittstellen bedeutet zwar zunächst einen deutlichen Mehraufwand, welcher sich aber bei steigender Anzahl der integrierten Systeme bzw. bei wachsender Komplexität in Form eines Zeitgewinns sowie erhöhter Systemstabilität auszahlt. Neue Systeme können dann einfach und schnell angebunden werden, da so bereits vorhandene Funktionalitäten für das neu anzubindende System genutzt werden können.
Newsletter
Möchten Sie auch in Zukunft mehr von uns erfahren?
Dann melden Sie sich einfach für unseren Newsletter an und wir werden Ihnen passende Inhalte für Sie zur Verfügung stellen.
