{"id":4048,"date":"2019-04-08T12:33:19","date_gmt":"2019-04-08T10:33:19","guid":{"rendered":"https:\/\/dev.wi-lex.de\/index.php\/in-memory-data-management\/"},"modified":"2022-03-02T14:32:09","modified_gmt":"2022-03-02T13:32:09","slug":"in-memory-data-management","status":"publish","type":"page","link":"https:\/\/wi-lex.de\/lexikon\/informations-daten-und-wissensmanagement\/datenmanagement\/datenbanksystem\/in-memory-data-management\/","title":{"rendered":"In-Memory Data Management"},"content":{"rendered":"

Hasso Plattner<\/a><\/p>\n

\n

In-Memory Data Management (IMDM) bezeichnet die prim\u00e4re Verwaltung von Daten im Hauptspeicher von einem oder mehreren Servern.<\/em><\/p>\n

Zusammenfassung<\/h2>\n

Daten werden \u00fcblicherweise in Datenbanken gespeichert und verwaltet. Beim IMDM werden die Daten prim\u00e4r im Hauptspeicher abgelegt und – zur Absicherung vor St\u00f6rf\u00e4llen wie Stromausf\u00e4llen – parallel auf persistentem Speicher wie z.B. Solid-State-Disks gesichert. Der Zugriff auf den Hauptspeicher ist wesentlich schneller als die Verarbeitung von Daten in klassischen Systemen, welche die Daten prim\u00e4r auf der Festplatte ablegen und im Hauptspeicher lediglich tempor\u00e4re Arbeitskopien vorhalten. Dadurch ergeben sich fundamentale Verbesserungen f\u00fcr die Datenhaltung und -auswertung im Unternehmen.<\/p>\n

Historie<\/h2>\n

Klassische Datenbanken speichern den Datenbestand auf Festplatten in Bl\u00f6cken ab. Die zuletzt benutzten Bl\u00f6cke werden nach M\u00f6glichkeit im Hauptspeicher vorgehalten, so dass auf diesen vorgehaltenen Daten schnelle Abfragen m\u00f6glich sind. Sollen Anfragen \u00fcber den gesamten Datenbestand durchgef\u00fchrt werden, muss dieser von der Festplatte gelesen werden, bevor er verarbeitet werden kann.<\/p>\n

Entwicklung der Computertechnik<\/h2>\n

\u00dcber die letzten Jahrzehnte wurden Computer stetig schneller, was sich direkt auf die Ausf\u00fchrungsgeschwindigkeit auswirkte. Jedoch hat sich in den letzten Jahren gezeigt, dass sich einige Komponenten langsamer weiterentwickeln als andere. So ist die Rechenleistung moderner Prozessoren rasant gestiegen, w\u00e4hrend sich die Geschwindigkeit von Festplatten weitaus langsamer entwickelte. Somit wurde es immer aufw\u00e4ndiger, Daten von der Festplatte zu lesen und auszuwerten, was leicht zum Flaschenhals des Gesamtsystems wird.<\/p>\n

Daneben stehen heute Server mit Hauptspeicherkapazit\u00e4ten von bis zu 48 Terabyte zur Verf\u00fcgung. Verglichen mit dem Wachstum der Hauptspeicherkapazit\u00e4ten, haben sich allerdings die Latenz des Speicherzugriffes sowie die Speicherbandbreite nur geringf\u00fcgig verbessert. Um die Auslastung der Bandbreite zu optimieren, nutzen moderne Prozessoren mehrstufige Cache-Architekturen, wodurch die Latenz des Speicherzugriffes verringert werden kann. Durch solche Architekturen lassen sich Bandbreitenbeschr\u00e4nkungen beim Speicherzugriff umgehen oder zumindest einschr\u00e4nken. Diese sogenannten Speicherhierarchien nutzen den Fakt aus, dass kleinere aber daf\u00fcr wesentlich schnellere Speichertechnologien dichter an der CPU operieren. Dies f\u00fchrt jedoch dazu, dass die Geschwindigkeit der Zugriffe auf gespeicherte Daten von der Lokalit\u00e4t der Daten abh\u00e4ngig ist. Aufgrund dessen werden – insbesondere im In-Memory Data Management – Algorithmen und Datenstrukturen entsprechend optimiert, um Cache-Architekturen optimal auszunutzen.<\/p>\n

Zeilen- und Spaltenorientierte Datenorganisation<\/h2>\n

Hauptspeicher wird im Englischen h\u00e4ufig mit dem Begriff DRAM bezeichnet, wobei diese Abk\u00fcrzung f\u00fcr Dynamic Random Access Memory steht. Dieser Begriff suggeriert, dass die Zugriffsperformance auf alle Dateneinheiten im Hauptspeicher wahlfrei ist, also unabh\u00e4ngig von der zuvor angefragten Dateneinheit. Wie im vorherigen Abschnitt erl\u00e4utert, ist dies bei heutigen Rechnern (die in der Mehrheit nach der Von-Neumann Architektur gebaut sind) nicht der Fall. Daher ist es erstrebenswert, h\u00e4ufig zusammen abgefragte Daten nah beieinander zu speichern. Dies kann durch eine spaltenorientierte Datenablage in vielen F\u00e4llen erreicht werden, da hier alle Eintr\u00e4ge einer Spalte bzw. eines Attributes gemeinsam gespeichert werden. Bei modernen Unternehmensanwendungen oder analytischen Anwendungen dominieren genau solche Anfragen, bei denen einzelne Attribute aller Datens\u00e4tze einer Tabelle gelesen werden (f\u00fcr eine ausf\u00fchrliche Erkl\u00e4rung siehe [Plattner 2014]). Diese Art der Datenablage steht im Gegensatz zu einer zeilenorientierten Datenorganisation, bei der die verschiedenen Attribute eines einzelnen Datensatzes zusammen abgelegt werden. Diese Art der Ablage ist besonders geeignet f\u00fcr schreibende Zugriffe kompletter Entit\u00e4ten. Einige moderne Datenbanksysteme kombinieren beide Ablagesysteme, um f\u00fcr eine gegebene Arbeitslast die optimale Datenorganisation zu erm\u00f6glichen.<\/p>\n

In-Memory Data Management<\/h2>\n

Beim In-Memory Data Management werden s\u00e4mtliche Daten komprimiert und optimiert im Hauptspeicher einer oder mehrerer Server bereit gehalten. Alle Anfragen k\u00f6nnen somit direkt aus dem schnellen Hauptspeicher beantwortet werden.<\/p>\n

Der Fokus liegt beim In-Memory Data Management auf der Optimierung des physischen Datenlayouts, welches hinsichtlich des tats\u00e4chlichen vorkommenden Zugriffsmusters angepasst wird. Diese Muster werden in der Regel durch gegebene transaktionale oder analytische Workloads vorab definiert. Um einen effizienten Zugriff sicherzustellen, muss die verf\u00fcgbare Speicherbandbreite m\u00f6glichst vollst\u00e4ndig ausgenutzt werden und Daten sequentiell gelesen werden. Diese Anforderung ist analog zu festplattenbasierten Datenbanksystemen<\/a>, da diese ebenfalls profitieren, wenn ganze Bl\u00f6cke gelesen und komplett genutzt werden k\u00f6nnen, jedoch gelten andere Parameter, die dazu f\u00fchren, dass andere Algorithmen und Datenstrukturen zum Einsatz kommen.<\/p>\n

Anwendungsgebiete beim Enterprise Computing<\/h2>\n

Im Kontext von Unternehmensanwendungen hat die Datenhaltung der IT-Systeme einen gro\u00dfen Einfluss auf die Geschwindigkeit, mit der Unternehmensdaten verarbeitet werden k\u00f6nnen.<\/p>\n

In-Memory Data Management erm\u00f6glicht eine neue Klasse von Anwendungen, die analytische Anfragen auf aktuellsten transaktionalen Daten ausf\u00fchren k\u00f6nnen, ohne diese vorher durch einen Extract, Transform, Load (ETL<\/a>)-Prozess in ein spezielles Analyseformat \u00fcbertragen zu m\u00fcssen. Dadurch, dass Daten nicht l\u00e4nger voraggregiert gespeichert werden, lassen sich Anwendungen erstellen, welche die Daten weitaus flexibler verarbeiten k\u00f6nnen.<\/p>\n

Neue Anwendungsgebiete, wie die Auswertung von RFID<\/a>-Sensordaten, Customer-Sentiment Analysen sowie operationales Reporting werden dadurch m\u00f6glich.<\/p>\n

Beispiel f\u00fcr operationales Reporting<\/h2>\n

Ein Beispiel, anhand dessen der Vorteil des IMDM f\u00fcr die Betriebsplanung gezeigt werden kann, ist der Available-to-Promise-Check (ATP), bei dem gepr\u00fcft wird, ob einem Kunden eine Bestellung zugesichert werden kann. Dazu m\u00fcssen Lagerbest\u00e4nde, Produktionsplanung, Lieferanten sowie andere Bestellungen ber\u00fccksichtigt werden, was einen hohen Berechnungsaufwand auf dem gesamten Datenbestand bedeutet. Festplattenbasierte Datenbanksysteme kommen dort schnell an ihre Grenzen, da der Zugriff auf gro\u00dfen Datenmenge durch den Festplattenzugriff zu langsam ist, um Antworten in Echtzeit zu liefern.<\/p>\n

\n

Literatur<\/h3>\n

Plattner, H.: A Course in In-Memory Data Management, Second Edition, Springer 2014, ISBN: 978-3-642-55270-0<\/p>\n

 <\/p>\n","protected":false},"excerpt":{"rendered":"

Hasso Plattner In-Memory Data Management (IMDM) bezeichnet die prim\u00e4re Verwaltung von Daten im Hauptspeicher von einem oder mehreren Servern. Zusammenfassung Daten werden \u00fcblicherweise in Datenbanken gespeichert und verwaltet. Beim IMDM werden die Daten prim\u00e4r im Hauptspeicher abgelegt und – zur Read More …<\/a><\/p>\n","protected":false},"author":568,"featured_media":0,"parent":3860,"menu_order":2,"comment_status":"open","ping_status":"open","template":"","meta":{"footnotes":""},"class_list":["post-4048","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/wi-lex.de\/wp-json\/wp\/v2\/pages\/4048","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/wi-lex.de\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/wi-lex.de\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/wi-lex.de\/wp-json\/wp\/v2\/users\/568"}],"replies":[{"embeddable":true,"href":"https:\/\/wi-lex.de\/wp-json\/wp\/v2\/comments?post=4048"}],"version-history":[{"count":8,"href":"https:\/\/wi-lex.de\/wp-json\/wp\/v2\/pages\/4048\/revisions"}],"predecessor-version":[{"id":15724,"href":"https:\/\/wi-lex.de\/wp-json\/wp\/v2\/pages\/4048\/revisions\/15724"}],"up":[{"embeddable":true,"href":"https:\/\/wi-lex.de\/wp-json\/wp\/v2\/pages\/3860"}],"wp:attachment":[{"href":"https:\/\/wi-lex.de\/wp-json\/wp\/v2\/media?parent=4048"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}