MooseFS

MooseFS is 'n fout tolerante, netwerk versprei lêer stelsel wat data versprei oor verskeie fisiese bedieners wat sigbaar is aan die gebruiker as een bron nbsp &; Vir die standaard lêer operasies MooseFS dade as ander Unix-alike lêer stelsels.:
& Nbsp; * 'n hiërargiese struktuur (gids boom)
& Nbsp; * Winkels POSIX lêer eienskappe (permissions, laaste toegang en wysiging keer)
& Nbsp; * Ondersteun spesiale lêers (blok en karakter toestelle, pype en voetstukke)
& Nbsp; * simboliese skakels (lêer name wys lêers, nie noodwendig op MooseFS te teiken) en hard skakels (verskillende name van lêers wat verwys na dieselfde data op MooseFS)
& Nbsp; * Toegang tot die lêer stelsel beperk kan gebaseer word op IP-adres en / of wagwoord
Kenmerkende eienskappe van MooseFS is:
& Nbsp; * Hoë betroubaarheid (verskeie afskrifte van die data kan deur verskeie rekenaars gestoor word)
& Nbsp; * Kapasiteit is dinamies verwissel deur die byvoeging van nuwe rekenaars / skywe
& Nbsp; * Verwyderde lêers word behou vir 'n konfigureerbare tydperk ('n lêer stelsel vlak "asblik bin")
& Nbsp; * Koherente foto's van lêers, selfs terwyl die lêer geskryf word / toeganklik
MooseFS bestaan ​​uit vier komponente:
& Nbsp; * Besturende bediener (meester bediener) & ndash; 'n masjien die bestuur van die hele lêerstelsel, stoor metadata vir elke lêer (inligting oor die grootte, eienskappe en lêer ligging (s), insluitend al die inligting oor nie-gereelde lêers, dws dopgehou, voetstukke, pype en toestelle).
& Nbsp; * Data bedieners (servers stuk) - enige aantal van die kommoditeit bedieners stoor van lêers data en sinchronisasie dit onder mekaar (indien 'n sekere lêer is veronderstel om te bestaan ​​in meer as een kopie).
& Nbsp; * Metadata Friends bediener (s) (metalogger bediener) - enige aantal bedieners, wat almal winkel metadata Change en van tyd tot tyd aflaai belangrikste metadata lêer; so as die bedieners te bevorder na die rol van die Besturende bediener wanneer primêre meester nie meer werk nie.
& Nbsp; * Kliënt rekenaars wat toegang (berg) die lêers in MooseFS - enige aantal masjiene gebruik mfsmount proses met die bestuur van die bediener te kommunikeer (te ontvang en te verander lêer metadata) en met chunkservers (werklike lêer data uit te ruil).
mfsmount is gebaseer op die lont meganisme (lêersisteem in userspace), so MooseFS is beskikbaar op elke bedryfstelsel met 'n werkende FUSE implementering (Linux, FreeBSD, MacOS X, ens)
Metadata word in die geheue van die besturende bediener gestoor en gelyktydig gestoor is (as 'n gereeld opgedateer binêre lêer en onmiddellik opgedateer inkrementele logs). Die belangrikste binêre lêer sowel as die logs is gesinchroniseer met die metaloggers (indien teenwoordig).
Lêer data is verdeel in fragmente (stukke) met 'n maksimum van 64MiB elk. Elke stuk is self 'n lêer op uitgesoekte skywe op data bedieners (chunkservers).
Hoë betroubaarheid word bereik deur die instel van so baie verskillende data bedieners soos toepaslik die "doel" waarde te besef (aantal kopieë te hou) wat vir die gegewe lêer.
hoe die stelsel werk
Alle lêer operasies op 'n kliënt die rekenaar wat gemonteer is MooseFS is presies dieselfde as wat hulle met ander lêer stelsels sou wees. Die bedryfstelsel kern dra al lêer operasies aan die FUSE module, wat kommunikeer met die mfsmount proses. Die mfsmount proses kommunikeer deur middel van die netwerk daarna met die besturende bediener en data bedieners (servers stuk). Hierdie hele proses is ten volle deursigtig vir die gebruiker.
mfsmount kommunikeer met die bestuur van bediener elke keer 'n operasie op die lêer metadata vereis word:
& Nbsp; * Die skep van lêers
& Nbsp; * die verwydering van lêers
& Nbsp; * lees dopgehou
& Nbsp; * lees en veranderende eienskappe
& Nbsp; * veranderende lêer groottes
& Nbsp; * aan die begin van die lees of skryf data
& Nbsp; * op enige toegang tot spesiale lêers op MFSMETA
mfsmount gebruik 'n direkte verbinding met die data bediener (stuk bediener) wat winkels die betrokke stuk van 'n lêer. Wanneer 'n lêer te skryf, nadat die skryf proses om die bestuur van die bediener ontvang inligting van mfsmount 'n lêer se lengte en die laaste wysiging tyd om te werk.
Verder data bedieners (stuk bedieners) met mekaar kommunikeer data te herhaal ten einde die toepaslike getal eksemplare van 'n lêer op verskillende masjiene te bereik.
& Nbsp;
fouttoleransie
& Nbsp;
Administratiewe bevele toelaat dat die stelsel administrateur die "doel", of die aantal kopieë wat gehandhaaf moet word, op 'n per-gids of per-lêer vlak te spesifiseer. Die opstel van die doel om meer as een en die feit dat meer as een data-bediener sal skuld verdraagsaamheid. Wanneer die lêer data is in baie kopieë gestoor (op meer as een data-bediener), die stelsel is bestand teen mislukkings of tydelike netwerk kragonderbrekings van 'n enkele data bediener.
Dit is natuurlik nie verwys na lêers met die "doel" ingestel op 1, in welke geval die lêer sal slegs bestaan ​​op 'n enkele data bediener ongeag hoeveel data bedieners in die stelsel ontplooi.
Buitengewoon belangrike lêers kan hê om hul doel stel om 'n aantal hoër as twee, wat sal toelaat dat hierdie lêers weerstand teen 'n uiteensetting van meer as een bediener te wees op 'n keer.
In die algemeen is die instelling vir die aantal kopieë beskikbaar moet wees een meer as die verwagte aantal ontoeganklik of buite-om-bedieners.
In die geval waar 'n enkele data bediener ondervind 'n mislukking of afsluiting van die netwerk, die lêers gestoor binne dit dat ten minste twee kopieë gehad, toeganklik vanaf ander data bediener sal bly. Die data wat nou 'onder sy doel' sal herhaal word op 'n ander toeganklike data bediener aan die vereiste getal eksemplare weer voorsien.
Daar moet kennis geneem word dat indien die aantal beskikbare bedieners is laer as die "doel" wat vir 'n gegewe lêer, die vereiste aantal afskrifte nie bewaar kan word. Net as daar dieselfde aantal bedieners as die tans doel en as 'n data-bediener het 100% van sy kapasiteit bereik, sal dit in staat wees om te begin om 'n kopie van 'n lêer wat is nou onder sy doel drumpel gevolg na 'n ander te hou data bediener gaan die regte pad. In hierdie gevalle 'n nuwe data bediener gekoppel moet word om die stelsel so gou as moontlik om die verlangde aantal kopieë van die lêer te handhaaf.
'N nuwe data bediener gekoppel kan word aan die stelsel op enige tyd. Die nuwe kapasiteit sal onmiddellik beskikbaar vir gebruik nuwe lêers te stoor of herhaal afskrifte van lêers van ander data bedieners te hou word.
Administratiewe utilities bestaan ​​die status van die lêers in die lêer stelsel te bevraagteken om te bepaal of enige van die lêers is tans onder hul doel (stel aantal kopieë). Hierdie program kan ook gebruik word om die doelstelling te verander soos nodig.
Die data fragmente gestoor word in die stukke is n weergawe, so re-koppeling van 'n data-bediener met 'n ouer afskrif van data (soos as dit op die regte pad is vir 'n tydperk van die tyd), sal nie veroorsaak dat die lêers te onsamehangende geword. Die data bediener sal self sinchroniseer die huidige weergawes van die stukke, waar die uitgediende stukke sal verwyder word en die vrye ruimte sal hertoegewys word die nuwe stukke te hou te hou.
Mislukkings van 'n kliënt masjien (wat loop die mfsmount proses) sal geen invloed op die samehang van die lêer stelsel of op die ander kliënt se bedrywighede. In die ergste geval scenario die data wat nog nie uit die mislukte kliënt die rekenaar gestuur kan verloor.
& Nbsp;
WERKERS
& Nbsp; MooseFS is beskikbaar op elke bedryfstelsel met 'n werkende FUSE implementering:
& Nbsp; * Linux (Linux 2.6.14 en up het FUSE ondersteuning opgeneem in die amptelike kern)
& Nbsp; * FreeBSD
& Nbsp; * OpenSolaris
& Nbsp; * MacOS X
Die meester-bediener, metalogger bediener en chunkservers kan ook uitgevoer word op Solaris of Windows met Cygwin. Ongelukkig sonder FUSE sal dit nie moontlik wees om die lêerstelsel binne hierdie bedryfstelsels te berg

Wat is nuut in hierdie release:.

< li> Die belangrikste veranderinge sluit vaste sein hantering in multi modules, doel en trashtime perke in mfsexport.cfg, en 'n eenvoudige tjek vir afgelaai metadata lêers.

Wat is nuut in die weergawe 1.6.19:

• Aansienlike veranderinge is aan die metalogger masjien en metarestore hulpmiddel vir 'n beter integriteit van die metadata.
• 'n skandering vordering bar in CS bygevoeg is.
• Die meester naam is nou opgelos toe 'n verband versuim.
• 'n nuwe sessie word geskep wanneer die vorige een is verlore.
• Baie van die ander bugfixes en verbeteringe gemaak is.

Wat is nuut in die weergawe 1.6.17:

• In hierdie uitgawe het ons 'n outomatiese data kas bestuur .
• Dit is genoeg om net die meester bediener (geen verandering in stuk bedieners "of kliënte se kode is gemaak) op te gradeer.
• Die kern kas meganisme altyd bestaan, maar tot nou toe die kas was altyd skoongemaak op die opening van 'n lêer. Nou MooseFS beheer of dit of nie skoon te maak deur die nagaan of die lêer of nie verander word deur 'n ander kliënt. Kom ons kyk na 'n paar scenario's.
• Eerste scenario:
• 1. Rekenaar A lees die lêer X
• 2. Rekenaar B lees die lêer X
• 3. Rekenaar A wil die lêer X te lees - laat ons die kas (die lêer nie verander)
• Tweede scenario:
• 1. Rekenaar A lees die lêer X
• 2. Rekenaar A skryf na die lêer X
• 3. Rekenaar A wil tor lees die lêer X - laat ons die kas (die lêer verander is, maar rekenaar A weet oor hierdie veranderinge)
• Derde scenario:
• 1. Rekenaar A lees die lêer X
• 2. Rekenaar B skryf na die lêer X
• 3. Rekenaar A wil om te lees van die lêer X - hier het ons te dwing om die kas leeg te maak (omdat veranderinge is gemaak deur Rekenaar B en Rekenaar A nie van hulle weet)
• In die werklike omgewings eerste en tweede scenario gebeur by verre meer dikwels as derde scenario en dit is hoekom dit is redelik om die inhoud van die kas te laat en kry algehele stelsel prestasie.
• Natuurlik is daar is 'n paar gemiddelde scenario (maar hulle het ook bestaan ​​het voor) soos hierdie een:
• 1. Rekenaar A open lêer X en lees dit heeltemal (die lêer bly in die kas)
• 2. Rekenaar B verander die lêer X
• 3. Rekenaar A lees weer die lêer X (maar sonder die sluiting van of heropening dit - net beweeg op posisie 0 en herlees dit)
• In hierdie situasie Rekenaar A dieselfde data sal kry as in stap 1, maar dit nie ook in MooseFS voorheen gebeur.
• 'n kenmerk nodatacache was ook bekendgestel wat verbied om 'n lêer te kas. Van weergawe 1.6.17 up lêers met nodatacache kenmerk gedra soos lêers het in ouer weergawes van MooseFS. Hierdie vlag kan gebruik word met gereedskap mfsseteattr, mfsdeleattr en mfsgeteattr.
• Hierdie vlag is voorkomend bygevoeg en waarskynlik sal jy nie nodig om dit te gebruik. As jy na 'n paar keer blyk dit dat dit is regtig nutteloos dit sal verwyder word. Maar as jy enige saak / scenario wat eis die aanskakel van die outomatiese kas meganisme vind asseblief deel dit met ons.