Apache Hadoop

Apache Hadoop is aanvanklik ontwikkel deur Yahoo en die projek is 'n kombinasie tussen die vorige Apache Hadoop Core en Apache Hadoop Gemeenskaplike repos.

Die Hadoop projek het 'n baie bekendheid te danke opgedoen om sy goeie resultate in die uitvoering van 'n multi-bediener versprei rekenaar stelsel vir die hantering van groot hoeveelhede data.

Die projek self is eintlik gemaak van vier dele. Een daarvan is Hadoop Common, die sogenaamde kern waarmee alle ander modules om te werk, die tweede is sy eie lêerstelsel - HDFS (Hadoop Distributed File System), die derde is die Hadoop garen skedulering raamwerk, en uiteindelik is daar die Hadoop MapReduce stelsel vir die ondersteuning van parallel rekenaar.

Die gebruik van hierdie baanbrekerswerk stelsel, het die Apache daarin geslaag om baie ander kant projekte, soos te skep:

- Apache Ambari

- Apache Avro

- Apache Cassandra

- Apache HBase

- Apache korf

- Apache olifanten drijver

- Apache Vark

- Apache Spark

- Apache też

- Apache Zookeeper

Al hierdie staatmaak op Hadoop se kragtige data verwerking enjin of sy versprei rekenaar funksies, die integrasie van een van sy modules in hul kern een of ander manier.

Wat is nuut in hierdie release:

• Ondersteuning vir Argiefdienste berging
• Transparante data rus enkripsie (beta)
• Bedryfswins veilige DataNode sonder dat toegang wortel
• Hot swap drive: ondersteuning byvoeg / verwyder data node volumes sonder om weer te begin data node (beta)
• AES ondersteuning vir vinniger draad enkripsie
• Ondersteuning vir lang loop dienste in gare
• Ondersteuning node etikette tydens skedulering
• Ondersteuning vir tydgebaseerde hulpbron besprekings in kapasiteit Planner (beta)
• Global, gedeel kas vir aansoek artefakte (beta)
• Ondersteuning bestuur van aansoeke native in Docker houers (alfa)

Wat is nuut in weergawe 2.7.1:

• Ondersteuning vir Argiefdienste berging
• Transparante data rus enkripsie (beta)
• Bedryfswins veilige DataNode sonder dat toegang wortel
• Hot swap drive: ondersteuning byvoeg / verwyder data node volumes sonder om weer te begin data node (beta)
• AES ondersteuning vir vinniger draad enkripsie
• Ondersteuning vir lang loop dienste in gare
• Ondersteuning node etikette tydens skedulering
• Ondersteuning vir tydgebaseerde hulpbron besprekings in kapasiteit Planner (beta)
• Global, gedeel kas vir aansoek artefakte (beta)
• Ondersteuning bestuur van aansoeke native in Docker houers (alfa)

Wat is nuut in weergawe 2.7.0:

• Ondersteuning vir Argiefdienste berging
• Transparante data rus enkripsie (beta)
• Bedryfswins veilige DataNode sonder dat toegang wortel
• Hot swap drive: ondersteuning byvoeg / verwyder data node volumes sonder om weer te begin data node (beta)
• AES ondersteuning vir vinniger draad enkripsie
• Ondersteuning vir lang loop dienste in gare
• Ondersteuning node etikette tydens skedulering
• Ondersteuning vir tydgebaseerde hulpbron besprekings in kapasiteit Planner (beta)
• Global, gedeel kas vir aansoek artefakte (beta)
• Ondersteuning bestuur van aansoeke native in Docker houers (alfa)

Wat is nuut in weergawe 2.6.0:

• Ondersteuning vir Argiefdienste berging
• Transparante data rus enkripsie (beta)
• Bedryfswins veilige DataNode sonder dat toegang wortel
• Hot swap drive: ondersteuning byvoeg / verwyder data node volumes sonder om weer te begin data node (beta)
• AES ondersteuning vir vinniger draad enkripsie
• Ondersteuning vir lang loop dienste in gare
• Ondersteuning node etikette tydens skedulering
• Ondersteuning vir tydgebaseerde hulpbron besprekings in kapasiteit Planner (beta)
• Global, gedeel kas vir aansoek artefakte (beta)
• Ondersteuning bestuur van aansoeke native in Docker houers (alfa)

Wat is nuut in weergawe 2.5.0:.

• verifikasie verbeterings by die gebruik van 'n HTTP-instaanbediener
• 'n Nuwe Hadoop Statistieke wasbak wat direk laat skryf om Graphite.
• spesifikasie vir Hadoop Versoenbaar lêerstelsel moeite.
• Ondersteuning vir POSIX-styl lêerstelsel uitgebreide eienskappe.
• OfflineImageViewer 'n fsimage via die API WebHDFS blaai.
• Supportability verbeterings en bug fixes om die NFS poort.
• Gemoderniseerde web Uis (HTML5 en JavaScript) vir HDFS daemons.
• garen rus API ondersteuning indiening en die doodmaak van aansoeke.
• Kerberos integrasie vir die garen se tydlyn winkel.

Wat is nuut in weergawe 2.4.0:

• Ondersteuning vir toegangsbeheer lyste in HDFS
• Native ondersteuning vir Rolling opgradering in HDFS
• Gebruik van protokol-buffers vir HDFS FSImage vir gladde operasionele opgraderings
• Complete HTTPS ondersteuning in HDFS
• Ondersteuning vir outomatiese Fail van die garen ResourceManager
• Verbeterde ondersteuning vir nuwe aansoeke op garen met Aansoek Geskiedenis Server en Aansoek Tydlyn Server
• Ondersteuning vir sterk DVO in gare CapacityScheduler via preemption

Wat is nuut in weergawe 2.3.0:.

• Ondersteuning vir Heterogene berging hiërargie in HDFS
• In-geheue kas vir HDFS data met gesentraliseerde administrasie en bestuur.
• Vereenvoudigde verspreiding van MapReduce binaries via HDFS in gare Distributed Cache.

Wat is nuut in weergawe 2.2.0:

• Yarn - 'N algemene doel hulpbronbestuur stelsel vir Hadoop om MapReduce en ander ander data verwerking raamwerke en dienste toelaat
• High Beskikbaarheid vir HDFS
• HDFS Federasie
• HDFS Snapshots
• NFSv3 toegang tot data in HDFS

Wat is nuut in weergawe 2.1.0 beta:

• HDFS Snapshots
• Ondersteuning vir die uitvoer van Hadoop op Microsoft Windows
• garen API stabilisering

Wat is nuut in weergawe 2.0.3-alfa:

• QJM vir HDFS ha vir NameNode
• Multi-hulpbron skedulering (CPU en geheue) vir garen
• garen ResourceManager Start
• Beduidende stabiliteit te skaal vir gare (meer as 30,000 nodes en 14 miljoen aansoeke tot dusver, ten tyde van die vrylating)

Wat is nuut in weergawe 1.0.0:.

• Beter sekuriteit
• HBase (voeg / hsynch / hflush en sekuriteit).
• webhdfs (met volle ondersteuning vir sekuriteit).
• Performance verbeterde toegang tot plaaslike lêers vir HBase.
• Ander prestasie verbeterings, bug fixes, en funksies.

Wat is nuut in weergawe 0.20.2:

• RPC bediener stuur buffer behou grootte van die grootste reaksie ooit gestuur.
• C ++ biblioteke nie bou op Debian Lenny.
• Sommige C ++ skrifte is nie chmodded voor mier uitvoering.
• Streaming:. Proses voorsien status boodskappe oor het elke 10 seoncds
• IllegalArgumentException wanneer CombineFileInputFormat word gebruik as werk InputFormat.
• Verskeie foute w / Hadoop argiewe.
• Laat caching van lêerstelsel gevalle te wees afgeskakel op 'n per-geval basis.
• Missing sinchronisasie vir defaultResources in Configuration.addResource.
• GzipCodec moenie BuiltInZlibInflater verteenwoordig as decompressorType.
• NameNode se HttpServer kan nie instansieer InetSocketAddress: IllegalArgumentException gegooi
.
• HttpServer slaap met negatiewe waardes.
• Namenode loop van uit die geheue te danke aan geheugenlek in IPC Server.
• IPC kliënt fout kan veroorsaak RPC oproep hang.
• Versuim toetse te verhoed dat die res van die toets doelwitte van uitvoering.
• contrib toetse misluk Clover'ed bou.
• toetse nie uitgevoer word op 0,20 tak.
• TestStreamingStatus misluk op 0,20 tak.