Apache Spark

Spark is ontwerp om die verwerking spoed vir data-analise en manipulasie programme te verbeter.
Dit is geskryf in Java en Scala en bied funksies nie gevind in ander stelsels, meestal omdat hulle nie die hoofstroom nie wat nuttig is vir nie-data verwerking van aansoeke.

Wat is nuut in hierdie weergawe:.

• Die kern API ondersteun nou multi-vlak samevoeging bome te help bespoedig duur verminder bedrywighede
• Verbeterde fout verslagdoening is bygevoeg vir sekere gotcha bedrywighede.
• Spark se Jetty afhanklikheid is nou skadu te help in stryd is met die gebruiker programme te vermy.
• Spark ondersteun nou SSL enkripsie vir 'n paar kommunikasie eindpunte.
• Realtime GC statistieke en rekord tellings is bygevoeg om die UI.

Wat is nuut in weergawe 1.3.0:

• Die kern API Nou ondersteun multi-vlak samevoeging bome om te help bespoedig duur verminder bedrywighede.
• Verbeterde fout verslagdoening is bygevoeg vir sekere gotcha bedrywighede.
• Spark se Jetty afhanklikheid is nou skadu te help in stryd is met die gebruiker programme te vermy.
• Spark ondersteun nou SSL enkripsie vir 'n paar kommunikasie eindpunte.
• Realtime GC statistieke en rekord tellings is bygevoeg om die UI.

Wat is nuut in weergawe 1.2.1:

• PySpark se soort operateur ondersteun nou eksterne mors vir groot datastelle .
• PySpark ondersteun nou uitsending veranderlikes groter as 2GB en voer eksterne mors tydens soorte.
• Spark voeg 'n werk-vlak vooruitgang bladsy in die Spark UI, 'n stabiele API vir vordering verslagdoening, en dinamiese opdatering van uitset statistieke as werk voltooi.
• Spark het nou ondersteuning vir die lees van binêre lêers vir die beelde en ander binêre formaat.

Wat is nuut in weergawe 1.0.0:

• Hierdie vrystelling brei standaard biblioteke Spark se bekendstelling van 'n nuwe SQL pakket (Spark SQL) waarmee gebruikers integreer SQL navrae in bestaande Spark werkstromen.
• MLlib, masjien leer biblioteek Spark se uitgebrei met yl vektor ondersteuning en verskeie nuwe algoritmes.

Wat is nuut in weergawe 0.9.1:

• Vaste hash botsing fout in eksterne mors
• Vaste konflik met log4j Spark se vir gebruikers vertrou op ander te meld back ends
• Vaste Graphx ontbreek Spark vergadering pot in Maven bou
• Vaste stil mislukkings as gevolg van uitset status karteer oorskry Akka raam grootte
• verwyder Spark se onnodige direkte afhanklikheid van ASM
• verwyder statistieke-ganglia van die standaard bou weens LGPL lisensie konflik
• Vaste fout in die verspreiding tarball nie met vonk vergadering jar

Wat is nuut in weergawe 0.8.0:

• Ontwikkeling het verskuif na die Apache sowftware Foundation as 'n broeikas projek.

Wat is nuut in weergawe 0.7.3:

• Python prestasie: meganisme Spark se paai Python VMS het verbeter om so vinniger te doen wanneer die JVM het 'n groot hoop grootte, die bespoediging van die Python API.
• months vasgestel: pype by jou werk sal nou op die classpath wanneer deserializing taak resultate in months
.
• Fout verslagdoening. Beter fout verslagdoening vir nie-serialiseerbaar uitsonderings en té groot taak resultate
• Voorbeelde:. Bygevoeg 'n voorbeeld van Stateful stroom verwerking met updateStateByKey
• Bou:. Spark Streaming nie meer afhanklik is van die Twitter4J repo, wat moet toelaat dat dit te bou in China
• Bug fixes in foldByKey, streaming telling, statistieke metodes, dokumentasie, en web UI.

Wat is nuut in weergawe 0.7.2:.

• Scala weergawe opgedateer 2.9.3
• Verskeie verbeterings aan Bagel, insluitend prestasie verbeterings en 'n konfigureerbare stoor vlak.
• New API metodes. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition, en ander
• 'n nuwe statistieke verslagdoening koppelvlak, SparkListener om inligting oor elke berekening stadium in te samel. Taak lengtes, grepe skuifel, ens
• Verskeie nuwe voorbeelde gebruik te maak van die Java API, insluitend K-middel en rekenaar pi.

Wat is nuut in weergawe 0.7.0:

• Spark 0,7 voeg 'n Python API genoem PySpark <. / li>
• Spark werk nou begin 'n web dashboard vir die monitering van die geheue gebruik van elke versprei dataset (RDD) in die program.
• Spark kan nou gebou met behulp van Maven bykomend tot SBT.

Wat is nuut in weergawe 0.6.1:

• Vaste té aggressiewe boodskap outs dat werkers kan laat ontkoppel van die cluster.
• Vaste 'n fout in die selfstandige aanwend af wat nie gasheername om skeduleerder het bloot, wat HDFS ligging.
• Verbeterde verband hergebruik in shuffle, wat grootliks kan bespoedig klein skud.
• Vaste 'n paar potensiële dooie in die blok bestuurder.
• Vaste 'n fout om ID's van mislukte leërskare van months.
• Verskeie verbeterings EC2 script, soos beter hantering van spot gevalle.
• Het die plaaslike IP-adres wat Spark bind aan te pas.
• Ondersteuning vir Hadoop 2 verdelings.
• Steun vir die opspoor van Scala op Debian verdelings.

Wat is nuut in weergawe 0.6.0:.

• Eenvoudiger ontplooiing
• dokumentasie Spark se is uitgebrei met 'n nuwe vinnige begin gids, bykomende ontplooiing instruksies opset gids, tuning gids, en verbeterde Scaladoc API dokumentasie.
• 'n nuwe kommunikasie bestuurder gebruik asynchrone Java NIO kan shuffle bedrywighede hardloop vinniger, veral wanneer die stuur van groot hoeveelhede data of wanneer werk het baie take.
• 'n nuwe stoor bestuurder ondersteun per dataset stoor vlak instellings (bv of die dataset in geheue te hou, deserialized, op die skyf, ens, of selfs herhaal oor nodes).
• Verbeterde debugging.