S3QL

S3QL ondersteun Amazon S3 asook arbitrêre SFTP bediener en effektief bied jy met 'n harde skyf van 'n dinamiese, oneindige kapasiteit wat kan verkry word vanaf enige rekenaar met internet toegang.
S3QL is die verskaffing van 'n standaard, vol featured UNIX lêer stelsel wat konseptueel ononderskeibaar van enige plaaslike lêer stelsel. Verder S3QL het bykomende funksies soos kompressie, enkripsie, data de-duplisering, onveranderlike bome en snapshotting wat maak dit veral geskik vir aanlyn Friends en Argiefdienste.
S3QL is ontwerp eenvoud en elegansie oor prestasie en funksie-kruip te bevoordeel. Sorg is geneem om die bron-kode as leesbare en bruikbare as moontlik te maak. Solid fout opsporing en fouthantering is ingesluit vanaf die heel eerste lyn, en S3QL kom met 'n uitgebreide outomatiese toets gevalle vir al sy komponente.
Voordat 'n lêer stelsel gemonteer kan word, is die agterkant wat die data besit te geïnisialiseer word. Dit word gedoen met die mkfs.s3ql opdrag. Hier is ons met behulp van die Amazon S3 backend en nikratio-s3ql-emmer is die S3 emmer waarin die lêer stelsel gestoor word.
mkfs.s3ql s3: // nikratio-s3ql-emmer
Die S3QL lêer stelsel gestoor word in die S3 emmer nikratio_s3ql_bucket in die gids / mnt / s3ql na die berg, voer:
mount.s3ql s3: // nikratio-s3ql-emmer / mnt / s3ql
Nou kan jy jou gunsteling Friends-program 'n rugsteun in die gids / mnt / s3ql te hardloop onderrig en die data sal gestoor word 'n Amazon S3. Wanneer jy klaar is, die lêerstelsel te ontheg word met
umount.s3ql / mnt / s3ql

Eienskappe :

• Deursigtigheid. Konseptueel, S3QL is ononderskeibaar van 'n plaaslike lêer stelsel. Byvoorbeeld, dit word ondersteun deur hardlinks, Symlinks, vol unix permissies, uitgebreide eienskappe en lêer groottes tot 2 TB.
• Dynamic grootte. Die grootte van 'n S3QL lêer stelsel groei en krimp dinamies soos vereis.
• Compression. Voordat stoor, kan al die data saamgepers met die LZMA, bzip2 of LZ algoritme.
• enkripsie. Na kompressie (maar voor oplaai), al die data kan AES geïnkripteer met 'n 256 bit sleutel. 'N bykomende SHA256 HMAC checksum word gebruik om die data te beskerm teen manipulasie.
• Data De-duplisering. As 'n paar lêers identiese inhoud, sal die oortollige data slegs een keer gestoor word. Dit werk in alle lêers gestoor in die lêer stelsel, en ook al is dit net 'n paar dele van die lêers is identies, terwyl ander dele verskil.
• onveranderlike bome. Gids bome kan onveranderlike gemaak word, sodat die inhoud daarvan kan nie meer op enige manier hoegenaamd verander word. Dit kan gebruik word om te verseker dat die rugsteun nie kan verander word nadat hulle gemaak het.
• 'Kopieer-on-Skryf / Snapshotting. S3QL kan hele gids bome herhaal sonder die gebruik van enige addisionele stoorplek. Slegs as een van die afskrifte is verander, die deel van die data wat verander is sal neem ekstra stoorplek. Dit kan gebruik word intelligente foto wat die behoud van die toestand van 'n gids op verskillende punte in die tyd met behulp van 'n minimum bedrag van ruimte te skep.
• High Performance onafhanklik van die netwerk latency. Alle bedrywighede wat nie skryf of lees dossier inhoud (soos die skep dopgehou of beweeg, hernoem, en veranderende regte van lêers en dopgehou) nie is baie vinnig, want hulle is uitgevoer sonder enige netwerk transaksies.
• S3QL bereik deur die hele lêer en gids struktuur in 'n databasis te spaar. Hierdie databasis word plaaslik gestoor en dit die afgeleë kopie asynchroon opgedateer.
• Ondersteuning vir lae bandwydte verbindings. S3QL split dossier inhoud in kleiner blokke en caches blokke plaaslik. Dit verminder beide die aantal netwerk transaksies wat nodig is vir die lees en skryf van data, en die bedrag van die data wat oorgedra moet word wanneer daar slegs dele van 'n lêer lees of geskryf.

Wat is nuut in hierdie release:

• Pogings om 'n lêerstelsel wat reeds by die nuutste hersiening te gradeer nie meer lewer die plaaslike metadata kopieer onbruikbaar.
• Google stoor emmer name met kolle nie meer probleme met SSL sertifikaat validering veroorsaak.
• Repareert crash wanneer statvfs () word 'n beroep op 'n byna leë lêer stelsel.
• Daar is 'n nuwe & quot; swiftks & quot; backend vir OpenStack / Swift bedieners.
• Skakel 'n wedloop toestand wat kan lei tot mount.s3ql gekraak met 'n & quot; KeyError in versamelings / abc.py & quot;.
• Repareert ongeluk wat kan voorkom wanneer ek probeer om skoon te maak nadat hy 'n verband of bediener fout wanneer 'n voorwerp oplaai.

Wat is nuut in weergawe 2.2:

• S3QL nou gebruik SSL verbindings by verstek en verifieer bediener sertifikate.
• 'n wedloop toestand wat gelei het tot 'n oënskynlike verlies van afgeleë metadata is vasgestel.
• Die S3 backend verwyder nou verskeie stoor voorwerpe met een versoek indien moontlik, die vermindering van latency, verkeer, en die aantal versoeke om S3.
• S3QL is nou in staat bediener foute en doorverwijzing op te spoor voordat al die data is aan die bediener gestuur.
• 'n nuwe "rack 'backend wat toelaat dat die spesifikasie van die voorwerp stoor streek in die stoor URL is bygevoeg.
• Die mount.s3ql --compress opsie kan nou spesifikasie van die kompressie-vlak.

Wat is nuut in die weergawe 1.15:

• Fietsry van metadata rugsteun wanneer die gebruik van die plaaslike backend nou neem baie minder tyd.
• Dit is nie meer nodig dat S3QL en Python APSW gekoppel word aan dieselfde SQLite gedeelde biblioteek.
• In mount.s3ql, 'n ongeluk by die gebruik van --metadata-upload-interval 0 is vasgestel.
• In plaas van heeltemal ontheg die lêer stelsel (en die verlaat van die hegpunt ontoeganklik) wanneer backend data ontbreek of korrup, S3QL terug nou 'n fout en skakelaars om te lees net die operasie.

Wat is nuut in die weergawe 1.13:

• Hierdie weergawe is 'n fout wat veroorsaak misvormde metadata geskryf word wanneer die gebruik van onlangse eglibc weergawes.
• Hy stel kwessies wanneer ek probeer om toegang tot 'n gids by die wortel van die lêerstelsel wat onlangs met s3qlrm verwyder.
• oënskynlike ACL ondersteuning is verwyder.
• Hierdie vrystelling beter handvatsels emmers met ongeldig DNS name.
• Dit sal weer probeer as DNS is nie beskikbaar nie.

Wat is nuut in die weergawe 1.11.1:

• Hierdie weergawe is 'n crash wanneer die gebruik van die S3 backend (regressie bekendgestel in release 1.11), verhoog die minimum berig lêerstelsel grootte 1 TB, en werk om 'n DF fout so groot behoorlik berig.

Wat is nuut in die weergawe 1.11:

• Metadata oor gestoor voorwerpe is nou verdeel in verskeie velde, so geen veld is langer as 256 grepe. (Dit maak S3QL versoenbaar is met 'n groter verskeidenheid van die stoor verskaffers.) Die SWIFT backend Pogingen nou as dit ontvang 5xx-fout kodes van die afgeleë bediener, en nie meer versuim toe probeer data te laai met 'n verval auth teken.

Wat is nuut in die weergawe 1.10:

• Die s3s, s3cs en gss back ends verwyder is. Gebruik die nuwe --ssl opsie saam met die S3, s3c en gs back ends plaas.
• S3QL hou nie meer tred konsekwentheid waarborge vir die verskillende back ends.
• Die toenemende aantal verskillende stoor verskaffers bied verskillende streke, ontslag, en beskikbaarheid vlakke maak is dit nie meer haalbaar is.
• Die Gebruiker se gids bevat 'n nuwe afdeling, & quot; belangrike reëls om te verhoed dat Data & quot;.
• Lees dit word sterk aanbeveel.

Wat is nuut in die weergawe 1.9:

• Hierdie weergawe maak lêer keer nie meer verander wanneer die verandering van die stelsel tydsone, fixes en verbeter contrib / benchmark.p, bepaal die & quot; Te veel vasgeketting doorverwijzing & quot; fout, Pogingen op 5xx bediener foute, en voeg eksperimentele inheemse ondersteuning vir OpenStack / SWIFT bedieners en eksperimentele proxy ondersteuning.

Wat is nuut in die weergawe 1.8:

• 'n & quot; ValueError: Kan nie nul waardes & quot stort; crash wanneer lêerstelsel metadata tydens swaar lêer stelsel aktiwiteit is vasgestel is opgelaai.
• s3qlcp en gids lys prestasie vir 'n baie groot dopgehou is verbeter.
• 'n rm prestasie regressie is vasgestel.
• -. Blocksize herdoop tot --max-obj-grootte
• Sommige crashes wat gebeur onder swaar konkurrente lêer stelsel gebruik is vasgestel.
• python-llfuse 0,37 word nou gebruik.

Beperkings :

• Daar is nog baie van die foute in die kode en jy moet gereed wees om te hanteer hulle. Tog, kan jy redelik vol vertroue dat die foute (hoewel ongerieflik) nie jou gestoor data sal in gevaar stel.