S3QL tukee Amazon S3 sekä mielivaltaisen SFTP palvelimia ja tehokkaasti tarjoaa kiintolevy dynaaminen, ääretön kapasiteetti, jota voi käyttää miltä tahansa tietokoneelta jossa on internetyhteys.
S3QL tarjoaa standardin, täysin varustellun UNIX-tiedostojärjestelmää, joka on käsitteellisesti erottaa tahansa paikalliseen tiedostojärjestelmään. Lisäksi S3QL on lisäominaisuuksia, kuten pakkaus, salaus, data de päällekkäisyyden, muuttumaton puita ja snapshotting ansiosta erityisesti sopii online-varmuuskopiointi ja arkistointia.
S3QL on suunniteltu suosimaan yksinkertaisuus ja tyylikkyys yli suorituskykyä ja ominaisuus viruminen. Huomiota on tehdä lähdekoodin luettavissa ja huoltaa kuin mahdollista. Kiinteät virheiden havaitsemiseen ja virheiden käsittelyn on sisällytetty aivan ensimmäisellä rivillä, ja S3QL mukana laaja automatisoituja testitapauksia kaikkine osineen.
Ennen tiedostojärjestelmä voidaan asentaa, backend joka pitää tiedot on alustettu. Tämä tapahtuu mkfs.s3ql komennolla. Täällä käytämme Amazon S3 backend, ja nikratio-s3ql-ämpäri on S3 ämpäri jossa tiedostojärjestelmä tallennetaan.
mkfs.s3ql S3: // nikratio-s3ql-ämpäri
Voit asentaa S3QL tiedostojärjestelmä tallennettu S3 ämpäri nikratio_s3ql_bucket hakemistosta / mnt / s3ql, kirjoita:
mount.s3ql S3: // nikratio-s3ql-ämpäri / mnt / s3ql
Nyt voit asettaa suosikki varmuuskopio ohjelma ajaa varmuuskopio hakemistoon / mnt / s3ql ja tiedot tallennetaan Amazon S3. Kun olet valmis, tiedostojärjestelmä on poistanut kanssa
umount.s3ql / mnt / s3ql
Ominaisuudet :
- Avoimuus. Käsitteellisesti S3QL ei voi erottaa paikallisen tiedostojärjestelmän. Esimerkiksi se tukee kovat, symbolisten, täysi unix käyttöoikeudet, laajennetut ominaisuudet ja tiedostojen koot jopa 2 Tt.
- Dynamic koko. Koko S3QL tiedostojärjestelmän kasvaa ja kutistuu dynaamisesti tarpeen mukaan.
- Compression. Ennen varastointia, kaikki tiedot voidaan pakata LZMA, BZIP2 tai LZ algoritmi.
- Salaus. Kun pakkaus (mutta ennen upload), kaikki tiedot voidaan AES salattu 256 bittisellä avaimella. Ylimääräinen SHA256 hmac tarkistussumma käytetään suojaamiseksi manipulointia.
- Data De-päällekkäisyyksiä. Jos useita tiedostoja on sama sisältö, tarpeeton tiedot tallennetaan vain kerran. Tämä toimii kaikissa tallennetut tiedostot tiedostojärjestelmä, ja myös, jos vain jotkut osat tiedostot ovat identtisiä, kun taas muut osat poikkeavat.
- Muuttumaton Trees. Directory puut voidaan tehdä muuttumaton, niin että niiden sisältö ei voi enää muuttaa millään tavalla. Tätä voidaan käyttää varmistamaan, että varmuuskopiot ei voi muuttaa sen jälkeen, kun ne on tehty.
- Kopioi vs. Write / Snapshotting. S3QL voi jäljitellä koko hakemistosta puita ilman mitään ylimääräistä säilytystilaa. Vain jos yksi kappale muutetaan, osa tiedoista, jotka on muutettu vievät lisää tallennustilaa. Tätä voidaan käyttää luomaan älykkäitä otoksia, jotka säilyttävät tila hakemiston eri ajankohtina käyttämällä vähän tilaa.
- High Performance riippumaton verkon latenssi. Kaikki toiminnot, jotka eivät kirjoita tai lue tiedoston sisältö (kuten luoda hakemistoja tai siirtää, nimetä uudelleen, ja muuttuvat luvat tiedostojen ja hakemistojen) ovat erittäin nopeita, koska ne toteutetaan ilman verkko liiketoimia.
- S3QL saavuttaa tämän tallentamalla koko tiedostojen ja hakemistojen rakenne tietokantaan. Tämä tietokanta on paikallisesti välimuistissa ja etäkopio päivitetään asynkronisesti.
- Tuki hitaan verkkoyhteyden. S3QL jakaa tiedoston sisältö pienempiin lohkot ja välimuistit lohkot paikallisesti. Tämä minimoi sekä määrä verkon liiketoimien vaaditaan lukemista ja kirjoittamista tietoja, ja tietomäärä, joka on siirrettävissä, kun vain osaa tiedoston luetaan tai kirjoitetaan.
Mitä uutta tässä julkaisussa:
- Yrittää päivittää tiedostojärjestelmä, joka on jo uusin versio enää ei paikallinen metatiedot kopioi käyttökelvottomaksi.
- Google varastointi ämpäri nimiä, jotka sisältävät pisteitä ei enää aiheuta ongelmia SSL sertifikaatin vahvistus.
- Korjaa kaatua statvfs () pyydetään lähes tyhjä tiedostojärjestelmä.
- On uusi & quot; swiftks & quot; backend OpenStack / Swift-palvelimia.
- Poistaa kilpailutilanne, joka voi johtaa mount.s3ql kaatuu kanssa & quot; KeyError kokoelmissa / abc.py & quot;.
- Korjaa kaatuu, joita voi esiintyä, kun yrittää siivota sai yhteyden tai palvelimen virhe ladattaessa esine.
Mitä uutta versiossa 2.2:
- S3QL nyt SSL-yhteydet oletuksena ja tarkistaa varmenteet.
- kilpailutilanne, joka johti näennäinen tappio kauko metatietojen on vahvistettu.
- S3 backend nyt poistaa useita varastointi objekteja yksi pyyntö, jos mahdollista, vähentää latenssi, liikenne, ja useita pyyntöjä S3.
- S3QL on nyt pystyy havaitsemaan palvelimelle virheitä ja uudelleenohjaus, ennen kuin kaikki tiedot on lähetetty palvelimelle.
- Uusi "Rackspace" backend joka mahdollistaa erittely esineen varastoinnin alue varastointi URL lisättiin.
- mount.s3ql --compress vaihtoehto mahdollistaa nyt erittely puristus tasolla.
Mitä uutta versiossa 1.15:
- Pyöräily metatietojen varmuuskopioita käytettäessä paikallinen backend nyt vie paljon vähemmän aikaa.
- Sitä ei enää tarvita, että S3QL ja Python APSW liittyä samaan SQLite jaetun kirjaston.
- mount.s3ql, kaatua käytettäessä --metadata-upload-intervalli 0 on vahvistettu.
- Sen sijaan kokonaan irrottamalla tiedostojärjestelmä (ja jättää liitospisteeseen saavuttamattomissa) kun backend tieto puuttuu tai on vioittunut, S3QL nyt palauttaa virheen ja siirtyy vain luku-toiminta.
Mitä uutta versiossa 1.13:
- Tämä versio korjaa vian, joka aiheutti väärän muotoinen metatiedot kirjoitetaan pois, kun käytetään viime eglibc versioita.
- Se korjaa ongelmia, kun yrität käyttää hakemiston juureen tiedostojärjestelmän, joka on hiljattain poistettiin s3qlrm.
- näennäistä ACL tuki on poistettu.
- Tämä julkaisu paremmin kahvat kauhat kelpaa DNS-nimet.
- Se yrittää uudelleen, jos DNS ei ole käytettävissä.
Mitä uutta versiossa 1.11.1:
- Tämä versio korjaa kaatua käytettäessä S3 backend (regressio käyttöön release 1,11), kasvattaa pienin raportoitu tiedostojärjestelmä koko 1 Tt, ja toimii noin df vika niin koko raportoidaan asianmukaisesti.
Mitä uutta versiossa 1.11:
- metatietoa tallennettu esineitä on nyt jaettu useita kenttiä, joten ei kenttä on pidempi kuin 256 tavua. (Tämä tekee S3QL yhteensopiva laajemman varastointi tarjoajat.) SWIFT backend nyt odotetaan, jos se saa 5xx virhekoodit etäpalvelimelta, ja enää ei yritettäessä ladata tietoja vanhentunut auth token.
Mitä uutta versiossa 1.10:
- S3S, s3cs ja GSS backends on poistettu. Käytä uutta --ssl vaihtoehto yhdessä s3, S3C ja gs backends sijaan.
- S3QL enää seuraa johdonmukaisuuden takeet eri backends.
- kasvava määrä erilaisia varastointi tarjoajat eri alueilla, irtisanomisia, ja saatavuus tasot tekee tästä ei enää ole mahdollinen.
- käyttöopas sisältää uuden osan, & quot; Tärkeää Säännöt Vältä tietojen häviäminen & quot;.
- Lukeminen on erittäin suositeltavaa.
Mitä uutta versio 1.9:
- Tämä versio tekee tiedostojen kertaa ei enää muutu, kun vaihdat järjestelmään aikavyöhyke, korjauksia ja parantaa contrib / benchmark.p, korjaa & quot; liian monta kahlittu redirections & quot; bug, yrittää uudelleen päälle 5xx palvelimelle virheitä, ja lisää kokeellinen natiivi tuki OpenStack / SWIFT-palvelimia ja kokeellinen proxy tuki.
Mitä uutta versiossa 1.8:
- & quot; ValueError: Voi ei dumpata tyhjäarvoja & quot; kaatua tiedostojärjestelmä metatiedot ladattiin voimakkaassa tiedostojärjestelmän toimintaa on vahvistettu.
- s3qlcp ja hakemistolistaus suorituskykyä erittäin suuri hakemistoja parannettiin.
- rm suorituskyky regressio on vahvistettu.
- - lohkokokoa nimeksi --max-obj-size.
- Osa kaatumisista sattui alle raskaasti samanaikainen tiedostojärjestelmän käyttö on vahvistettu.
- python-llfuse 0,37 on nyt käytetty.
Rajoitukset :
- On vielä paljon bugeja koodin ja sinun pitäisi olla valmis käsittelemään niitä. Voit kuitenkin olla suhteellisen varmoja, että vikoja (vaikka hankalaa) ei vaaranna tallennetut tiedot.
Kommentteja ei löytynyt