Dapper Dataflow Engine

Dapper (verspreide en parallelle Program uitvoering Runtime) is 'n instrument vir die kreet van die kompleksiteit van die ontwikkeling vir grootskaalse wolk en grid, sodat die gebruiker om versprei berekeninge te skep van die noodsaaklikhede - die kode wat sal Uitvoerendi
Hoekom Dapper?
Ons leef in interessante tye, waar deurbrake in die wetenskappe toenemend afhang van die groeiende beskikbaarheid en oorvloed van commoditized, netwerk computational hulpbronne. Met die hulp van die wolk of rooster, berekeninge wat andersins sou vir dae op 'n enkele desktop masjien nou versprei en / of parallel formulerings wat deur kan kansellasies, in 'n kwessie van ure, insette stel tien keer so groot op 'n honderd masjiene . As aanloklike as die idee van krag in getalle mag wees, met net fisiese hardeware is nie genoeg nie - 'n programmeerder het om die werklike berekening wat sal loop op handwerk. Gevolglik is die hoë waarde geplaas op menslike inspanning en kreatiwiteit noodsaak 'n programmeer omgewing wat dit moontlik maak, en selfs aanmoedig, bondige uitdrukking van versprei berekeninge, en nog op dieselfde tyd nie offer algemeenheid.
Dapper, staan ​​vir verspreide en parallelle Program uitvoering Runtime, is een so 'n instrument vir die oorbrugging hoë vlak spesifikasies die wetenskaplike / programmeerder se dat die essensie van 'n program op te vang, met die meganismes lae vlak dat die onsmaaklike realiteite van verspreide en parallelle rekenaar weerspieël. Onder sy-datastroom benadering, Dapper gebruikers in staat stel om plaaslik kode in Java en uit te voer wêreldwyd op die wolk of rooster. Die gebruiker eerste skryf codelets, of klein stukkies van die kode wat eenvoudige take te verrig en dit nie doen nie, in hulself, 'n volledige program uitmaak. Daarna moet hy of sy bepaal hoe daardie codelets, gesien word as hoekpunte in die datastroom, versend data met mekaar via rand verhoudings. Die gevolglike gerig asikliese datastroom grafiek is 'n volledige program interpreteerbare deur die Dapper bediener, wat op gekontak deur 'n lang duur werker kliënte, kan 'n verspreide uitvoering te koördineer.
Onder die Dapper model, die gebruiker nie langer hoef te bekommer oor tradisioneel aspekte ad hoc van die bestuur van die wolk of rooster, wat insluit die hantering van data met mekaar verbind en afhanklikhede, herstel van foute, verspreiding kode, en die begin van werkgeleenthede. Miskien meer belangrik, bied dit 'n hele-Java gebaseer tool chain en runtime vir die opstel van byna al-growwe grein versprei berekeninge in 'n konsekwente formaat wat voorsiening maak vir 'n vinnige ontplooiing en maklik vervoer na ander navorsers.

Eienskappe :

• 'n kode verspreiding stelsel wat toelaat dat die Dapper bediener nodige program kode oordra oor die netwerk en het kliënte dinamiese laai dit. Die gevolg hiervan is dat, behalwe eksterne executables, updates te Dapper programme moet net gebeur op die bediener-kant.
• 'n kragtige subflow inbedding metode vir die wysiging van die dinamiese datastroom grafiek by runtime.
• 'n runtime in vanielje Java, 'n taal wat baie is geen twyfel vertroud is met. Afgesien van die vereiste van 'n onlangse JVM en opsioneel Graphviz Dot, Dapper is self-vervat.
• 'n robuuste beheer protokol. Die Dapper bediener verwag enige aantal kliënte te misluk, te eniger tyd, en het pas weer uitvoering en timeout beleid te hanteer. Gevolglik kan 'n mens begin en stop (langlewende) kliënte sonder vrees van om die hele stelsel in 'n onbestendige staat.
• Buigsame semantiek wat toelaat data oordrag via lêers of TCP strome.
• interoperabiliteit met firewalls. Sedert jou plaaslike wolk of rooster waarskynlik sit agter 'n firewall, het ons spesiale semantiek ontwerp vir streaming data oordrag.
• liberale lisensiëring terme. Dapper is vrygestel onder die LGPL om besoedeling van jou programkode te voorkom.
• Operation as 'n geïntegreerde program. A handleiding beskryf die ontwikkeling API wat gebruikers kan volg om die Dapper bediener binne 'n aansoek soos Apache Tomcat hardloop.
• Operation as 'n selfstandige gebruikerskoppelvlak. Met dit, kan 'n mens off-the-shelf demos hardloop en leer kernbegrippe van visuele voorbeelde. Deur 'n minimale stel konvensies, kan 'n mens dan bundel 'n mens se eie Dapper programme as uitvoering argiewe, en dan kry realtime datastroom status en ontfouting terugvoer.

Wat is nuut in hierdie release:

• Het die ServerLogic # closeIdleClients metode is verander na 'n beter pas by die gebruiker se intuïtiewe idee van luiheid.
• 'n gebruiker opsie vir die spesifiseer gasheernaam die bediener se is bygevoeg.
• Netwerk internals is verwerk om nuwe APIs gebruik.
• Die bou proses is opgedateer om beide 32- en 64-bis Windows cross-samestelling te ondersteun.
• Die dapper. * Hiërargie is herdoop tot org.dapper. *.

Wat is nuut in weergawe 0,96:

• Bygevoeg die FlowListener abstraksie, sodat gebruikers kan nou assosieer metadata met datastromen en hul nodes.
• Vaste 'n geheugenlek in die Dapper bediener.
• Added apiviz doclet tags sodat verhoudings tussen klasse beter kan gevisualiseer.
• Bygevoeg apiviz vir visualisering van afhanklikhede in Javadoc.
• Vaste 'n klein fout in BuildAndTest uitvoerbare.
• Die bou proses is nou ten volle geïntegreer met Apache Ivy. Die bron verspreiding nou meer skepe met die SST. In plaas daarvan, word afhanklikhede outomaties afgelaai; versuim dat 'n mens die SST bron kan aflaai, stel, en publiseer 'n plaaslike repository. Sien handleiding vir meer besonderhede.
• Opdateer bou proses en verwyder oortollige stappe.
• genormaliseerde kopiereg en lisensie kennisgewings in alle lêers.
• Java 1.6 is nou nodig om te bou en uit te voer.
• Change bou proses Apache Ivy, wat beteken dat eksterne afhanklikhede hoef nie langer te word verpak met die SST belangrikste verspreiding te gebruik.
• Added 'doxygen' teiken proses bou sodat moedertaal komponente gedokumenteer kan word.

Wat is nuut in weergawe 0,95:

• 'n nuwe, buigsaam meld infrastruktuur is bygevoeg
• Initializers vir meld strukture is verskuif uit die bediener en kliënt klasse en in bestuurders.
• Eindige staat masjiene is opgedateer om die nuwe-body gedryf API.
• Die bron-kode is genormaliseer tot 8 spasies in plaas van oortjies het.

Wat is nuut in weergawe 0,94:

• Command line opsies vir die kliënt en bediener is nou beskikbaar, vergunning van die Apache Commons CLI biblioteek.
• Die kliënt proses lewensiklus is nou gedefinieer as eindig wanneer 'n ontkoppel van die bediener gebeur.
• Stem funksionaliteit het verskuif van 'n lid van die metode OutputHandleResource om 'n statiese metode van CodeletUtilities.
• Die FlowNodeFactory klas gebruik word ten gunste van direkte Instantiëring van FlowNodes.
• Building van inheemse komponente het migreer na die CMake.
• Logging het migreer na SLF4J.
• 'n README is by alle uitkerings.

Wat is nuut in weergawe 0,93:.

• aansienlik verbeter pedagogiese voorbeelde
• Opdateer handleiding.
• gemak roetines in dapper.codelet.CodeletUtilities vir hulpbron bevraagteken.
• verwyder Generator, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource en FileBatchResource. Hulle is vervang met die konsep van abstrakte data handvatsels in die vorm van HandleEdge, InputHandleResource, OutputHandleResource. Sien handleiding vir veranderinge.
• Opdateer dapper.codelet.Resource om toevoer en afvoer strome voer.

Vereistes :

• Java 2 Standard Edition Runtime Environment