MDP

MDP (Modulêr toolkit vir Data Processing) is 'n biblioteek van wyd gebruik data verwerking algoritmes wat kan gekombineer word volgens 'n pyplyn analogie om meer komplekse data verwerking sagteware te bou.
Uit die oogpunt van die gebruiker se MDP bestaan ​​uit 'n versameling van toesig en sonder toesig leer algoritmes, en ander data verwerking eenhede (nodes) wat gebruik kan word gekombineer in die verwerking van data rye (vloei) en meer komplekse voer vorentoe netwerk argitektuur. Gegewe 'n stel van insette data, MDP sorg agtereenvolgens opleiding of uitvoering van alle nodes in die netwerk. Dit laat die gebruiker om komplekse algoritmes spesifiseer as 'n reeks van eenvoudiger data verwerking stappe in 'n natuurlike manier.
Die basis van beskikbare algoritmes is steeds toenemende en sluit in, om maar die mees algemene, hoof komponent Analise (PCA en NIPALS), verskeie onafhanklike komponent Ontleding algoritmes (CuBICA, FastICA, TDSEP, JADE en XSFA), Slow Feature Ontleding, Gauss klassifiseerders, Beperkte Boltzmann Machine, en plaaslik Lineêre Embedding.
Spesifieke sorg is geneem berekeninge doeltreffend in terme van spoed en geheue te maak. Geheue vereistes te verminder, is dit moontlik om met behulp van leer groepe van data uit te voer, en om te definieer die interne parameters van die nodes om enkele presisie, wat die gebruik van baie groot data maak stel moontlik wees. Verder het die "parallel" subpackage bied 'n parallel implementering van die basiese nodes en vloei.
Uit die oogpunt van die ontwikkelaar se MDP is 'n raamwerk wat die implementering van die nuwe toesig en sonder toesig leer algoritmes eenvoudig en maklik maak. Die basiese klas, 'Node, sorg vervelige take soos numeriese tipe en dimensionaliteit nagaan, die verlaat van die ontwikkelaar vry om te konsentreer op die implementering van die leer en uitvoering fases. As gevolg van die gemeenskaplike koppelvlak, die knoop dan outomaties integreer met die res van die biblioteek en kan gebruik word in 'n netwerk saam met ander nodes. A node kan verskeie opleiding fases en selfs 'n onbepaalde aantal fases. Dit laat die implementering van algoritmes wat nodig het om 'n paar statistieke oor die hele insette te samel voordat met die werklike opleiding, en ander wat moet Itereer oor 'n opleiding-fase totdat 'n konvergensie kriterium tevrede is. Die vermoë om elke fase met behulp van stukke insette data lei gehandhaaf as die stukke word gegenereer met iterators. Verder, crash herstel is opsioneel beskikbaar: in die geval van mislukking, is die huidige stand van die vloei gespaar vir later inspeksie.
MDP geskryf in die konteks van die teoretiese navorsing in neurowetenskap, maar dit is ontwerp om behulpsaam te wees in enige konteks waar opleibare data verwerking algoritmes wat gebruik word. Sy eenvoud op die gebruiker kant saam met die herbruikbaarheid van die geïmplementeer nodes maak dit ook 'n geldige opvoedkundige hulpmiddel

Wat is nuut in hierdie release:.

• Python 3 ondersteuning.
• New uitbreidings: caching en helling
.
• 'n verbeterde en uitgebreide handleiding.
• Verskeie verbeterings en bugfixes.
• Hierdie vrystelling is onder 'n BSD lisensie.

Wat is nuut in weergawe 2.5:

• 2009/06/30: Bygevoeg aanlyn opsporing van numeriese backend , parallel python ondersteuning, symeig backend en numeriese backend om die uitset van eenheid toetse. Moet help in debugging.
• 2009/06/12. Integrasie van die donker en histogram nodes
• 2009/06/12. Vaste fout in parallel vloei (hantering van uitsonderings)
• 2009/06/09: Vaste fout in LLENode wanneer output_dim is 'n float. Danksy Konrad Hinsen.
• 2009/06/05. Vaste foute in parallel vloei vir verskeie voorbereiders
• 2009/06/05. Vaste 'n fout in laag inverse, te danke aan Alberto Escalante
• 2009/04/29. Bygevoeg 'n LinearRegressionNode
• 2009/03/31: PCANode nie meer kla wanneer kovariansiematriks negatiewe eiewaardes IFF SVD == Waar of verminder == True. As output_dim gespesifiseer het 'n gewenste variansie, is negatiewe eiewaardes geïgnoreer. Verbeterde foutboodskap vir SFANode in die geval van negatiewe eiewaardes, nou stel ons die knoop prefix met 'n PCANode (SVD = True) of PCANode (verminder = True).
• 2009/03/26: migreer uit ou draad pakket na die nuwe threading een. Bygevoeg vlag caching skakel in die proses skeduleerder. Daar is 'n paar breaking veranderinge vir persoonlike voorbereiders (parallel vloei opleiding of uitvoering is nie geraak).
• 2009/03/25. Bygevoeg svn hersiening dop ondersteuning
• 2009/03/25: Verwyder die copy_callable vlag vir die skeduleerder, dit is nou heeltemal vervang deur die vurk die TaskCallable. Dit het geen effek vir die gerieflike ParallelFlow koppelvlak, maar persoonlike voorbereiders gebreek.
• 2009/03/22. Geïmplementeer caching in die ProcessScheduler
• 2009/02/22. Make_parallel werk nou heeltemal in-plek om geheue te red
• 2009/02/12. Bygevoeg houer metodes om FlowNode
• 2009/03/03. Added CrossCovarianceMatrix met toetse
• 2009/02/03. Added IdentityNode
• 2009/01/30. Bygevoeg 'n helper funksie in hinet om 'n vloei HTML verteenwoordiging direk vertoon
• 2009/01/22. Laat output_dim in Layer lui gestel word
• 2008/12/23. Bygevoeg total_variance die nipals node
• 2008/12/23. Altyd stel explained_variance en total_variance na opleiding in PCANode
• 2008/12/12: Gewysig symrand om werklik terugkeer simmetriese matrikse (en nie net positiewe definitiewe). Aangepas GaussianClassifierNode om rekenskap te gee. Aangepas symrand ook terug komplekse Hermitiese matrikse.
• 2008/12/11: Vaste 'n probleem in PCANode (wanneer output_dim is gestig om die totale variansie input_dim behandel as onbekend). Vaste var_part parameter in ParallelPCANode.
• 2008/12/11. Bygevoeg var_part funksie PCANode (filter volgens variansie relatief tot absoute variansie)
• 2008/12/04: Vaste ontbreek as arg in AMAX oproep in tutoriaal. Danksy Samuel John!
• 2008/12/04: Vaste die leë data Iterator hantering in ParallelFlow. Ook bygevoeg leë Iterator tjeks in die normale vloei (samel 'n uitsondering as die Iterator is leeg).
• 2008/11/19: Gewysig PCA en SFA nodes om te kyk vir negaive eiewaardes in die cov matrikse
• 2008/11/19: symeig geïntegreer in Scipy, MDP kan dit gebruik van daar nou
.
• 2008/11/18. Added ParallelFDANode
• 2008/11/18. Opdateer die trein call able vir ParallelFlow bykomende argumente ondersteun
• 2008/11/05: Herskryf van die make parallel kode, ondersteun nou hinet strukture
.
• 2008/11/03: Herskryf van die hinet HTML repesentation skepper. Ongelukkig is dit breek ook die publiek koppelvlak, maar die veranderinge is redelik eenvoudig.
• 2008/10/29: Skakel waarskuwings uit afgeleë prosesse in ProcessScheduler
• 2008/10/27. Vaste probleem met die vervang kwargs in die init metode van ParallelFlow
• 2008/10/24. Vaste pretrained nodes fout in hinet.FlowNode
• 2008/10/20. Vaste kritieke invoer fout in parallel pakket wanneer pp (parallel python-biblioteek) is geïnstalleer

Vereistes :

• Python
• Numpy
• Scipy