Apache Hadoop

Apache Hadoop ( / həˈduːp / ) ist eine Sammlung von Open-Source -Software-Dienstprogrammen für zuverlässiges, skalierbares und verteiltes Rechnen . Es bietet ein Software - Framework für die verteilte Speicherung und Verarbeitung von Big Data mithilfe des MapReduce -Programmiermodells . Hadoop wurde ursprünglich für Computercluster aus Standardhardware entwickelt , was auch heute noch üblich ist. ^{[ 3 ]} Inzwischen findet es auch auf Clustern mit leistungsstärkerer Hardware Anwendung. ^{[ 4 ] [ 5 ]} Alle Module in Hadoop basieren auf der grundlegenden Annahme, dass Hardwareausfälle häufig auftreten und vom Framework automatisch behandelt werden. ^{[ 6 ]}

Der Kern von Apache Hadoop besteht aus einem Speichermodul, dem Hadoop Distributed File System (HDFS), und einem Verarbeitungsmodul, das auf dem MapReduce-Programmiermodell basiert. Hadoop zerlegt Dateien in große Blöcke und verteilt diese auf die Knoten eines Clusters. Anschließend wird der gepackte Code auf die Knoten übertragen, um die Daten parallel zu verarbeiten. Dieser Ansatz nutzt die Datenlokalität ^{[ 7 ]} , wodurch Knoten nur die Daten verarbeiten, auf die sie Zugriff haben. Dadurch kann der Datensatz schneller und effizienter verarbeitet werden als in einer herkömmlichen Supercomputerarchitektur , die auf einem parallelen Dateisystem basiert , bei dem Berechnungen und Daten über Hochgeschwindigkeitsnetzwerke verteilt sind. ^{[ 8 ] [ 9 ]}

Das Apache Hadoop-Basisframework besteht aus folgenden Modulen:

• Hadoop Common – enthält Bibliotheken und Hilfsprogramme, die von anderen Hadoop-Modulen benötigt werden;
• Hadoop Distributed File System (HDFS) – ein verteiltes Dateisystem, das Daten auf Standardmaschinen speichert und eine sehr hohe Gesamtbandbreite im Cluster bietet;
• Hadoop YARN (eingeführt im Jahr 2012) ist eine Plattform, die für die Verwaltung von Rechenressourcen in Clustern und deren Nutzung zur Planung von Benutzeranwendungen zuständig ist; ^{[ 10 ] [ 11 ].}
• Hadoop MapReduce – eine Implementierung des MapReduce-Programmiermodells für die Verarbeitung großer Datenmengen.
• Hadoop Ozone – (eingeführt 2020) Ein Objektspeicher für Hadoop

Der Begriff Hadoop wird häufig sowohl für Basismodule und Submodule als auch für das ^{Ökosystem [} 12 ] ^{bzw. die} Sammlung zusätzlicher Softwarepakete verwendet, die auf oder neben Hadoop installiert werden können, wie beispielsweise Apache Pig , Apache Hive , Apache HBase , Apache Phoenix , Apache Spark , Apache ZooKeeper , Apache Impala , Apache Flume , Apache Sqoop , Apache Oozie und Apache Storm . ^{[ 13 ]}

Die MapReduce- und HDFS-Komponenten von Apache Hadoop wurden von Google -Veröffentlichungen zu MapReduce und dem Google File System inspiriert . ^{[ 14 ]}

Das Hadoop-Framework selbst ist größtenteils in der Programmiersprache Java geschrieben , mit einigen nativen Codeabschnitten in C und Kommandozeilenprogrammen , die als Shell-Skripte implementiert sind . Die Programmiersprache Perl kann problemlos mit Hadoop Streaming verwendet werden, um die Map- und Reduce-Komponenten des Benutzerprogramms zu implementieren. ^{[ 15 ]}

Laut den Mitbegründern Doug Cutting und Mike Cafarella entstand die Idee zu Hadoop in der Google -Veröffentlichung zum Dateisystem (Google File System ) im Oktober 2003. ^{[ 16 ] [ 17 ]} Das Konzept wurde in der Google-Veröffentlichung „MapReduce: Simplified Data Processing on Large Clusters“ erweitert. ^{[ 18 ]} Die Entwicklung begann im Apache-Nutch- Projekt, wurde aber im Januar 2006 in das neue Hadoop-Subprojekt überführt. ^{[ 19 ]} Doug Cutting, der damals bei Yahoo! arbeitete , benannte es nach dem Spielzeugelefanten seines Sohnes. ^{[ 20 ]} Der ursprüngliche, aus Nutch ausgelagerte Code umfasste etwa 5.000 Zeilen für HDFS und etwa 6.000 Zeilen für MapReduce.

Im März 2006 war Owen O'Malley der erste Committer, der zum Hadoop-Projekt beitrug; ^{[ 21 ]} Hadoop 0.1.0 wurde im April 2006 veröffentlicht. ^{[ 22 ]} Es wird durch die Beiträge weiterer Entwickler kontinuierlich weiterentwickelt. ^{[ 23 ]} Das erste Designdokument für das Hadoop Distributed File System wurde 2007 von Dhruba Borthakur verfasst. ^{[ 24 ]}

Hadoop besteht aus dem Hadoop Common- Paket, das Abstraktionen auf Dateisystem- und Betriebssystemebene bereitstellt, einer MapReduce-Engine (entweder MapReduce/MR1 oder YARN/MR2) ^{[ 32 ]} und dem Hadoop Distributed File System (HDFS). Das Hadoop Common-Paket enthält die Java-Archivdateien (JAR) und Skripte, die zum Starten von Hadoop benötigt werden.

Für eine effiziente Arbeitsplanung sollte jedes Hadoop-kompatible Dateisystem Standortinformationen bereitstellen, d. h. den Namen des Racks, genauer gesagt des Netzwerk-Switches, an dem sich ein Worker-Knoten befindet. Hadoop-Anwendungen können diese Information nutzen, um Code auf dem Knoten auszuführen, auf dem sich die Daten befinden, und andernfalls auf demselben Rack/Switch, um den Backbone-Verkehr zu reduzieren. HDFS verwendet diese Methode zur Datenreplikation für Datenredundanz über mehrere Racks hinweg. Dieser Ansatz minimiert die Auswirkungen eines Stromausfalls im Rack oder eines Switch-Ausfalls; selbst bei einem dieser Hardwarefehler bleiben die Daten verfügbar. ^{[ 33 ]}

Ein kleiner Hadoop-Cluster besteht aus einem Master-Knoten und mehreren Worker-Knoten. Der Master-Knoten umfasst einen Job-Tracker, einen Task-Tracker, einen NameNode und einen DataNode. Ein Slave- oder Worker-Knoten fungiert sowohl als DataNode als auch als TaskTracker, wobei auch reine Daten- oder reine Rechen-Worker-Knoten möglich sind. Diese werden üblicherweise nur in nicht standardmäßigen Anwendungen eingesetzt. ^{[ 34 ]}

Hadoop benötigt die Java Runtime Environment (JRE) Version 1.6 oder höher. Die Standard-Start- und Herunterfahrskripte setzen voraus, dass Secure Shell (SSH) zwischen den Knoten im Cluster eingerichtet ist. ^{[ 35 ]}

In einem größeren Cluster werden HDFS-Knoten über einen dedizierten NameNode-Server verwaltet, der den Dateisystemindex hostet, sowie über einen sekundären NameNode, der Snapshots der Speicherstrukturen des NameNodes erstellen kann. Dadurch werden Dateisystembeschädigungen und Datenverluste verhindert. Ein eigenständiger JobTracker-Server kann analog dazu die Jobplanung über alle Knoten hinweg verwalten. Wird Hadoop MapReduce mit einem alternativen Dateisystem verwendet, werden die NameNode-, sekundäre NameNode- und DataNode-Architektur von HDFS durch die dateisystemspezifischen Entsprechungen ersetzt.

Das Hadoop Distributed File System (HDFS) ist ein verteiltes, skalierbares und portables Dateisystem, das in Java für das Hadoop-Framework geschrieben wurde. Eine Hadoop-Instanz ist in HDFS und MapReduce unterteilt. HDFS dient der Datenspeicherung, MapReduce der Datenverarbeitung. HDFS bietet fünf Dienste:

1. Namensknoten
2. Sekundärer Namensknoten
3. Job-Tracker
4. Datenknoten
5. Aufgaben-Tracker

Die oberen drei sind Master-Dienste/Daemons/Knoten, die unteren beiden Slave-Dienste. Master-Dienste und Slave-Dienste können miteinander kommunizieren. Der NameNode ist ein Master-Knoten, der DataNode sein zugehöriger Slave-Knoten; beide können miteinander kommunizieren.

NameNode: HDFS besteht aus nur einem NameNode, dem sogenannten MasterNode. Der MasterNode überwacht Dateien, verwaltet das Dateisystem und enthält die Metadaten aller gespeicherten Daten. Er enthält insbesondere Informationen zur Anzahl der Blöcke, zum Speicherort der Datenknoten, auf denen die Daten abgelegt sind, zum Speicherort der Replikate und weitere Details. Der NameNode kommuniziert direkt mit dem Client.

Datenknoten: Ein Datenknoten speichert Daten in Blöcken. Er wird auch als Slave-Knoten bezeichnet und speichert die eigentlichen Daten im HDFS, das für das Lesen und Schreiben durch den Client zuständig ist. Diese Knoten werden als Slave-Daemons bezeichnet. Jeder Datenknoten sendet alle drei Sekunden eine Heartbeat-Nachricht an den Namensknoten und signalisiert so seine Verfügbarkeit. Erhält der Namensknoten zwei Minuten lang keinen Heartbeat von einem Datenknoten, betrachtet er diesen als ausgefallen und beginnt die Blockreplikation auf einem anderen Datenknoten.

Sekundärer NameNode: Dieser Knoten dient ausschließlich der Verwaltung der Prüfpunkte der Dateisystemmetadaten im NameNode. Er wird auch als Prüfpunktknoten bezeichnet und ist ein Hilfsknoten für den NameNode. Der sekundäre NameNode weist den NameNode an, eine fsimage- und eine editlog-Datei zu erstellen und zu senden. Anschließend erstellt der sekundäre NameNode die komprimierte fsimage-Datei. ^{[ 36 ]}

Job-Tracker: Der Job-Tracker empfängt die Anfragen des Clients zur MapReduce-Ausführung. Er kommuniziert mit dem NameNode, um den Speicherort der zu verarbeitenden Daten zu ermitteln. Der NameNode antwortet mit den Metadaten der benötigten Verarbeitungsdaten.

Task-Tracker: Er ist der Slave-Knoten des Job-Trackers und empfängt Aufgaben von diesem. Außerdem empfängt er Code vom Job-Tracker. Der Task-Tracker wendet diesen Code auf die Datei an. Dieser Vorgang wird als Mapper bezeichnet. ^{[ 37 ]}

Ein Hadoop-Cluster besteht nominell aus einem Namenode und einem Cluster von Datenknoten. Aufgrund seiner kritischen Bedeutung sind jedoch Redundanzoptionen für den Namenode verfügbar. Jeder Datenknoten stellt Datenblöcke über das Netzwerk mithilfe eines HDFS-spezifischen Blockprotokolls bereit. Das Dateisystem verwendet TCP/IP- Sockets zur Kommunikation. Clients kommunizieren untereinander über Remote Procedure Calls (RPC).

HDFS speichert große Dateien (typischerweise im Bereich von Gigabytes bis Terabytes ^{[ 38 ]} ) auf mehreren Rechnern. Es erreicht Zuverlässigkeit durch die Replikation der Daten auf mehreren Hosts und benötigt daher theoretisch keinen RAID- Speicher (Redundant Array of Independent Disks) auf den Hosts (zur Steigerung der E/A-Leistung sind jedoch einige RAID-Konfigurationen weiterhin sinnvoll). Mit dem Standardwert für die Replikation (3) werden die Daten auf drei Knoten gespeichert: zwei im selben Rack und einer in einem anderen. Die Datenknoten können miteinander kommunizieren, um Daten neu zu verteilen, Kopien zu verschieben und die Datenreplikation hoch zu halten. HDFS ist nicht vollständig POSIX-konform, da die Anforderungen an ein POSIX-Dateisystem von den Zielen einer Hadoop-Anwendung abweichen. Der Vorteil eines nicht vollständig POSIX-konformen Dateisystems liegt in der höheren Leistung beim Datendurchsatz und der Unterstützung von Nicht-POSIX-Operationen wie z. B. Append. ^{[ 39 ]}

Im Mai 2012 wurden HDFS Hochverfügbarkeitsfunktionen hinzugefügt ^{[ 40 ]} , die es dem Hauptmetadatenserver, dem sogenannten NameNode, ermöglichen, manuell auf ein Backup umzuschalten. Das Projekt hat außerdem mit der Entwicklung automatischer Failover-Verfahren begonnen .

Das HDFS-Dateisystem beinhaltet einen sogenannten sekundären Namenode . Dieser Begriff ist irreführend und könnte fälschlicherweise als Backup-Namenode interpretiert werden, falls der primäre Namenode ausfällt. Tatsächlich verbindet sich der sekundäre Namenode regelmäßig mit dem primären Namenode und erstellt Snapshots der Verzeichnisinformationen des primären Namenodes. Diese Snapshots werden anschließend in lokalen oder entfernten Verzeichnissen gespeichert. Mithilfe dieser Checkpoints kann ein ausgefallener primärer Namenode neu gestartet werden, ohne dass das gesamte Protokoll der Dateisystemaktionen erneut abgespielt und anschließend bearbeitet werden muss, um eine aktuelle Verzeichnisstruktur zu erstellen. Da der Namenode die zentrale Stelle für die Speicherung und Verwaltung von Metadaten ist, kann er bei der Unterstützung einer großen Anzahl von Dateien, insbesondere vieler kleiner Dateien, zu einem Engpass werden. HDFS Federation, eine neue Funktion, zielt darauf ab, dieses Problem teilweise zu beheben, indem mehrere Namensräume von separaten Namenodes bedient werden können. Darüber hinaus weist HDFS einige Probleme auf, wie z. B. Schwierigkeiten mit kleinen Dateien, Skalierungsprobleme, einen Single Point of Failure (SPoF) und Engpässe bei großen Metadatenanfragen. Ein Vorteil von HDFS ist die Datenwahrnehmung zwischen Job- und Task-Tracker. Der Job-Tracker plant Map- oder Reduce-Jobs auf den Task-Trackern unter Berücksichtigung des Datenspeicherorts. Beispiel: Enthält Knoten A die Daten (a, b, c) und Knoten X die Daten (x, y, z), plant der Job-Tracker, dass Knoten A Map- oder Reduce-Tasks auf (a, b, c) und Knoten X Map- oder Reduce-Tasks auf (x, y, z) ausführt. Dadurch wird der Netzwerkverkehr reduziert und unnötige Datenübertragungen werden vermieden. Bei der Verwendung von Hadoop mit anderen Dateisystemen steht dieser Vorteil nicht immer zur Verfügung. Dies kann, wie bei datenintensiven Jobs gezeigt wurde, die Job-Abschlusszeiten erheblich beeinflussen. ^{[ 41 ]}

HDFS wurde hauptsächlich für unveränderliche Dateien konzipiert und ist möglicherweise nicht für Systeme geeignet, die gleichzeitige Schreibvorgänge erfordern. ^{[ 39 ]}

HDFS kann unter Linux und einigen anderen Unix -Systemen direkt mit einem virtuellen Dateisystem vom Typ Filesystem in Userspace (FUSE) eingebunden werden .

Der Dateizugriff kann über die native Java-API, die Thrift- API (die einen Client in einer Reihe von Sprachen generiert, z. B. C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa , Smalltalk und OCaml ), die Kommandozeilenschnittstelle , die HDFS-UI- Webanwendung über HTTP oder über Netzwerk-Clientbibliotheken von Drittanbietern erfolgen. ^{[ 42 ]}

HDFS ist auf Portabilität auf verschiedenen Hardwareplattformen und Kompatibilität mit einer Vielzahl von Betriebssystemen ausgelegt. Das HDFS-Design birgt jedoch Einschränkungen hinsichtlich der Portabilität, die zu Leistungsengpässen führen können, da die Java-Implementierung keine plattformspezifischen Funktionen nutzen kann. ^{[ 43 ]} Aufgrund der weitverbreiteten Integration in Unternehmensinfrastrukturen ist die Überwachung der HDFS-Performance im großen Maßstab immer wichtiger geworden. Die Überwachung der End-to-End-Performance erfordert die Erfassung von Metriken von Datanodes, Namenodes und dem zugrunde liegenden Betriebssystem. ^{[ 44 ]} Derzeit stehen verschiedene Monitoring-Plattformen zur Verfügung, darunter Hortonworks , Cloudera und Datadog .

Hadoop arbeitet direkt mit jedem verteilten Dateisystem, das vom zugrundeliegenden Betriebssystem über eine file://URL eingebunden werden kann. Dies hat jedoch seinen Preis: den Verlust der Datenlokalität. Um den Netzwerkverkehr zu reduzieren, muss Hadoop wissen, welche Server den Daten am nächsten sind – Informationen, die Hadoop-spezifische Dateisystembrücken liefern können.

Im Mai 2011 umfasste die Liste der mit Apache Hadoop mitgelieferten, unterstützten Dateisysteme folgende Systeme:

• HDFS: Hadoops eigenes Rack-fähiges Dateisystem. ^{[ 45 ]} Es ist für Speicherkapazitäten von mehreren zehn Petabyte ausgelegt und läuft auf den Dateisystemen der zugrunde liegenden Betriebssysteme .
• Apache Hadoop Ozone: HDFS-kompatibler Objektspeicher, optimiert für Milliarden kleiner Dateien.
• FTP- Dateisystem: Dieses speichert alle seine Daten auf entfernt zugänglichen FTP-Servern.
• Amazon S3 (Amazon Simple Storage Service) Objektspeicher: Dieser Speicher ist für Cluster vorgesehen, die auf der Server-on-Demand-Infrastruktur von Amazon Elastic Compute Cloud gehostet werden . Da das Dateisystem vollständig remote ist, wird keine Rack-Orientierung berücksichtigt.
• Windows Azure Storage Blobs (WASB)-Dateisystem: Dies ist eine Erweiterung von HDFS, die es Hadoop-Distributionen ermöglicht, auf Daten in Azure-Blob-Speichern zuzugreifen, ohne die Daten dauerhaft in den Cluster zu verschieben.

Es wurden auch mehrere Drittanbieter-Dateisystembrücken entwickelt, von denen jedoch keine in den Hadoop-Distributionen enthalten ist. Einige kommerzielle Hadoop-Distributionen verwenden jedoch standardmäßig ein alternatives Dateisystem – insbesondere IBM und MapR .

• Im Jahr 2009 diskutierte IBM die Ausführung von Hadoop über das IBM General Parallel File System . ^{[ 46 ]} Der Quellcode wurde im Oktober 2009 veröffentlicht. ^{[ 47 ]}
• Im April 2010 veröffentlichte Parascale den Quellcode zur Ausführung von Hadoop auf dem Parascale-Dateisystem. ^{[ 48 ]}
• Im April 2010 veröffentlichte Appsry einen Hadoop-Dateisystemtreiber zur Verwendung mit seinem eigenen CloudIQ-Speicherprodukt. ^{[ 49 ]}
• Im Juni 2010 diskutierte HP über einen ortsabhängigen IBRIX Fusion- Dateisystemtreiber. ^{[ 50 ]}
• Im Mai 2011 kündigte MapR Technologies Inc. die Verfügbarkeit eines alternativen Dateisystems für Hadoop an, MapR FS , das das HDFS-Dateisystem durch ein vollständiges Dateisystem mit wahlfreiem Lese-/Schreibzugriff ersetzte.

Über den Dateisystemen befindet sich die MapReduce-Engine, die aus einem JobTracker besteht . Clientanwendungen übermitteln MapReduce-Jobs an diesen JobTracker. Der JobTracker verteilt die Arbeit auf verfügbare TaskTracker- Knoten im Cluster und versucht dabei, die Arbeit so nah wie möglich an den Daten zu halten. Dank eines rackfähigen Dateisystems weiß der JobTracker, welcher Knoten die Daten enthält und welche anderen Maschinen sich in der Nähe befinden. Kann die Arbeit nicht auf dem Knoten ausgeführt werden, auf dem sich die Daten befinden, werden Knoten im selben Rack priorisiert. Dies reduziert den Netzwerkverkehr im Hauptnetzwerk. Fällt ein TaskTracker aus oder tritt ein Timeout auf, wird der entsprechende Teil des Jobs neu eingeplant. Der TaskTracker auf jedem Knoten startet einen separaten Java Virtual Machine (JVM)-Prozess, um zu verhindern, dass der TaskTracker selbst ausfällt, falls der laufende Job seine JVM zum Absturz bringt. Der TaskTracker sendet alle paar Minuten einen Heartbeat an den JobTracker, um seinen Status zu überprüfen. Status und Informationen zum JobTracker und TaskTracker werden von Jetty bereitgestellt und können über einen Webbrowser eingesehen werden.

Bekannte Einschränkungen dieses Ansatzes sind:

1. Die Zuweisung von Aufgaben an TaskTracker ist sehr einfach. Jeder TaskTracker verfügt über eine bestimmte Anzahl freier Slots (z. B. „4 Slots“). Jede aktive Map- oder Reduce-Aufgabe belegt einen Slot. Der JobTracker weist die Aufgaben dem Tracker zu, der den Daten am nächsten liegt und über einen freien Slot verfügt. Die aktuelle Systemlast der zugewiesenen Maschine und damit deren tatsächliche Verfügbarkeit werden nicht berücksichtigt .
2. Wenn ein TaskTracker sehr langsam ist, kann dies den gesamten MapReduce-Job verzögern – insbesondere gegen Ende, wenn alle Prozesse auf die langsamste Aufgabe warten müssen. Mit aktivierter spekulativer Ausführung kann eine einzelne Aufgabe jedoch auf mehreren Slave-Knoten ausgeführt werden.

Hadoop verwendet standardmäßig FIFO- Scheduling und optional fünf Scheduling-Prioritäten, um Jobs aus einer Arbeitswarteschlange einzuplanen. ^{[ 51 ]} In Version 0.19 wurde der Job-Scheduler aus dem JobTracker ausgelagert und gleichzeitig die Möglichkeit hinzugefügt, einen alternativen Scheduler zu verwenden (wie den Fair-Scheduler oder den Capacity-Scheduler , die im Folgenden beschrieben werden). ^{[ 52 ]}

Der Fair Scheduler wurde von Facebook entwickelt . ^{[ 53 ]} Ziel des Fair Schedulers ist es, schnelle Reaktionszeiten für kleine Aufträge und eine hohe Dienstgüte (QoS) für Produktionsaufträge zu gewährleisten. Der Fair Scheduler basiert auf drei Grundkonzepten. ^{[ 54 ]}

1. Jobs werden in Pools gruppiert .
2. Jedem Pool wird ein garantierter Mindestanteil zugewiesen.
3. Die überschüssige Kapazität wird auf die einzelnen Aufträge aufgeteilt.

Standardmäßig werden nicht kategorisierte Jobs einem Standardpool zugeordnet. Für Pools müssen die Mindestanzahl an Map-Slots, Reduce-Slots sowie eine Begrenzung der Anzahl laufender Jobs festgelegt werden.

Der Kapazitätsplaner wurde von Yahoo entwickelt. Er unterstützt mehrere Funktionen, die denen des fairen Planers ähneln. ^{[ 55 ]}

1. Den Warteschlangen wird ein Bruchteil der gesamten Ressourcenkapazität zugeteilt.
2. Freie Ressourcen werden Warteschlangen zugeteilt, die über ihre Gesamtkapazität hinausgehen.
3. Innerhalb einer Warteschlange hat ein Auftrag mit hoher Priorität Zugriff auf die Ressourcen der Warteschlange.

Sobald ein Job läuft, findet keine Unterbrechung statt.

Der größte Unterschied zwischen Hadoop 1 und Hadoop 2 ist die Einführung von YARN (Yet Another Resource Negotiator), das in der ersten Hadoop-Version die MapReduce-Engine ersetzte. YARN optimiert die Ressourcenzuweisung an verschiedene Anwendungen. Es verwendet zwei Daemons mit unterschiedlichen Aufgaben: den Ressourcenmanager , der die Auftragsverfolgung und Ressourcenzuweisung übernimmt, und den Anwendungsmaster , der den Ausführungsfortschritt überwacht.

Hadoop 3 bietet einige wichtige Neuerungen. Beispielsweise ermöglicht Hadoop 3 im Gegensatz zu Hadoop 2, wo es nur einen einzigen Namenode gibt , die Verwendung mehrerer Namenodes, wodurch das Problem des Single Point of Failure gelöst wird.

In Hadoop 3 gibt es Container, die nach dem Docker -Prinzip arbeiten , was den Zeitaufwand für die Anwendungsentwicklung reduziert.

Eine der größten Änderungen besteht darin, dass Hadoop 3 den Speicheraufwand durch Erasure Coding verringert .

Darüber hinaus ermöglicht Hadoop 3 die Nutzung von GPU-Hardware innerhalb des Clusters, was ein erheblicher Vorteil für die Ausführung von Deep-Learning-Algorithmen auf einem Hadoop-Cluster ist. ^{[ 56 ]}

Das HDFS ist nicht auf MapReduce-Jobs beschränkt. Es kann für weitere Anwendungen genutzt werden, von denen viele bei Apache in Entwicklung sind. Dazu gehören die HBase- Datenbank, das Machine-Learning- System Apache Mahout und das Data Warehouse Apache Hive . Theoretisch eignet sich Hadoop für alle Workloads, die eher batchorientiert als echtzeitfähig, sehr datenintensiv sind und von Parallelverarbeitung profitieren . Es kann auch Echtzeitsysteme wie Lambda-Architekturen , Apache Storm , Flink und Spark Streaming ergänzen . ^{[ 57 ]}

Zu den kommerziellen Anwendungen von Hadoop gehören: ^{[ 58 ]}

• Log- oder Clickstream- Analyse
• Marketinganalysen
• Maschinelles Lernen und Data Mining
• Bildverarbeitung
• XML- Nachrichtenverarbeitung
• Web-Crawling
• Archivierungsarbeiten zur Einhaltung von Vorschriften, einschließlich relationaler und tabellarischer Daten

Am 19. Februar 2008 veröffentlichte Yahoo! Inc. die nach eigenen Angaben weltweit größte Hadoop-Produktionsanwendung. Die Yahoo! Search Webmap ist eine Hadoop-Anwendung, die auf einem Linux-Cluster mit über 10.000 Kernen läuft und Daten für jede Yahoo!-Websuchanfrage generiert. ^{[ 59 ]} Yahoo! betreibt mehrere Hadoop-Cluster; weder HDFS-Dateisysteme noch MapReduce-Jobs sind auf mehrere Rechenzentren verteilt. Jeder Knoten eines Hadoop-Clusters initialisiert das Linux-Image inklusive der Hadoop-Distribution. Zu den Aufgaben der Cluster gehören unter anderem die Indexberechnungen für die Yahoo!-Suchmaschine. Im Juni 2009 stellte Yahoo! den Quellcode seiner Hadoop-Version der Open-Source-Community zur Verfügung. ^{[ 60 ]}

Im Jahr 2010 behauptete Facebook, den weltweit größten Hadoop-Cluster mit 21 PB Speicherplatz zu betreiben. ^{[ 61 ]} Im Juni 2012 gaben sie bekannt, dass die Datenmenge auf 100 PB angewachsen sei ^{[ 62 ]} und teilten später im selben Jahr mit, dass die Datenmenge täglich um etwa ein halbes PB zunehme. ^{[ 63 ]}

Im Jahr 2013 hatte sich Hadoop weit verbreitet: Mehr als die Hälfte der Fortune-50-Unternehmen nutzten Hadoop. ^{[ 64 ]}

Einflussreiche Veröffentlichungen zur Entstehung, Entwicklung und Nutzung von Hadoop und Big-Data-Verarbeitung sind unter anderem: Jeffrey Dean, Sanjay Ghemawat (2004) MapReduce: Simplified Data Processing on Large Clusters , Google. Diese Arbeit inspirierte Doug Cutting zur Entwicklung einer Open-Source-Implementierung des MapReduce-Frameworks. Er nannte sie Hadoop, nach dem Spielzeugelefanten seines Sohnes.

• Michael Franklin, Alon Halevy, David Maier (2005) Von Datenbanken zu Datenräumen: Eine neue Abstraktion für das Informationsmanagement . Die Autoren betonen die Notwendigkeit, dass Speichersysteme alle Datenformate akzeptieren und APIs für den Datenzugriff bereitstellen, die sich basierend auf dem Datenverständnis des Speichersystems weiterentwickeln.
• Fay Chang et al. (2006) Bigtable: Ein verteiltes Speichersystem für strukturierte Daten , Google.
• Robert Kallman et al. (2008) H-Store: ein leistungsstarkes, verteiltes Hauptspeicher-Transaktionsverarbeitungssystem

• Apache Accumulo – Sicheres Bigtable ^{[ 65 ]}
• Apache Cassandra ist eine spaltenorientierte Datenbank, die den Zugriff von Hadoop aus unterstützt.
• Apache CouchDB ist eine Datenbank, die JSON für Dokumente, JavaScript für MapReduce-Abfragen und reguläres HTTP für eine API verwendet.
• Big Data
• Datenintensives Rechnen
• HPCC – LexisNexis Risk Solutions Hochleistungsrechnercluster
• Hypertable – HBase-Alternative
• Sector/Sphere – Open-Source-verteilte Speicherung und Verarbeitung
• Slurm Workload Manager

• Offizielle Website