MooseFS

MooseFS on vikasietoinen, verkko jaettu tiedostojärjestelmä, joka leviää dataa useita fyysisiä palvelimia, jotka näkyvät käyttäjälle yhtenä voimavarana. & Nbsp; vakio tiedostotoimintoja MooseFS toimii muiden Unix-samankaltaisia ​​tiedostojärjestelmät:
& Nbsp; * hierarkkisen (hakemistopuusta)
& Nbsp; * Kaupat POSIX tiedostomääritteet (käyttöoikeudet, viimeinen pääsy ja muutos kertaa)
& Nbsp; * Tukee erityisiä tiedostoja (lohko ja merkkilaitteille, putket ja pistorasiat)
& Nbsp; * symboliset linkit (tiedostojen nimet osoittaen kohdistaa tiedostoja, ei välttämättä MooseFS) ja kovia linkkejä (eri tiedostojen nimiä, jotka viittaavat samaan tiedot MooseFS)
& Nbsp; * Pääsy tiedostojärjestelmä voidaan rajoittaa IP-osoitteen perusteella ja / tai salasana
Tuntomerkit of MooseFS ovat:
& Nbsp; * Korkea luotettavuus (useita kopioita voidaan tallentaa eri erillisille tietokoneille)
& Nbsp; * Kapasiteetti on dynaamisesti laajennettavissa liittämällä uudet tietokoneet / levyjä
& Nbsp; * Poistetut tiedostot säilytetään konfiguroitavissa aikaa (tiedostojärjestelmä tasolla "roskakori")
& Nbsp; * Johdonmukainen tilannekuvia tiedostoja, vaikka tiedosto on kirjoitettu / näytetty
MooseFS koostuu neljästä osasta:
& Nbsp; * toimitusjohtaja palvelin (master-palvelin) & ndash; yhden koneen hallintaan koko tiedostojärjestelmä, metatietojen tallennukseen jokaista tiedostoa (tiedot koosta, attribuutteja ja tiedoston sijainti (t), mukaan lukien kaikki tiedot epäsäännöllisessä tiedostoja eli hakemistoja, pistorasiat, putket ja laitteet).
& Nbsp; * Tiedot palvelimet (murikka palvelimet) - minkä tahansa määrän hyödykkeen palvelimia tiedostojen tallentamiseen tietoja ja synkronoida se keskenään (jos tietty tiedosto on tarkoitus esiintyä useamman kuin yhden kopion).
& Nbsp; * Metadata varmuuskopiointipalvelin (t) (metalogger palvelin) - minkä tahansa määrän palvelimia, jotka kaikki myymälän metatietojen muutoslokien ja määräajoin lataamalla tärkein metatietotiedosto; jotta edistetään näiden palvelimia roolia toimitusjohtaja -palvelimelle Primary Master lakkaa toimimasta.
& Nbsp; * Client tietokoneissa (mount) tiedostot MooseFS - tehdä useita koneita käyttäen mfsmount prosessi kommunikoida hallintaan palvelimen (vastaanottaa ja muokata tiedostojen metatiedot) ja chunkservers (vaihtaa todellisen tiedoston tiedot).
mfsmount perustuu sulakemekanismi (tiedostojärjestelmä userspace), joten MooseFS on käytettävissä kaikissa käyttöjärjestelmä työ- FUSE toteutus (Linux, FreeBSD, MacOS X, jne.)
Metadata on tallennettu muistiin hallintaan palvelimen ja samanaikaisesti tallentaa levylle (kuten päivitetty säännöllisesti binaaritiedostoa ja heti päivitetään vähitellen lokit). Tärkeimmät binäärinen tiedosto sekä tukit synkronoidaan metaloggers (jos läsnä).
Tiedoston tiedot on jaettu fragmentteja (paloina), jossa on enintään 64MiB kukin. Jokainen kimpale on itse tiedosto on valittu levyt datapalvelimia (chunkservers).
Korkea luotettavuus saavutetaan määrittämällä niin monta eri datapalvelimia tarvittaessa toteuttaa "tavoite" arvo (kopioiden määrä pitää) asettaa tietyn tiedoston.
miten järjestelmä toimii
Kaikki tiedosto toimintansa asiakaskoneelta asennettu MooseFS ovat täsmälleen samat kuin ne olisivat muiden tiedostojärjestelmien. Käyttöjärjestelmän ydin siirtää kaikki tiedoston toiminnot FUSE moduuli, joka on yhteydessä mfsmount prosessi. Mfsmount prosessi kommunikoi verkon kautta tämän jälkeen hallintaan palvelimen ja datapalvelimia (murikka palvelimet). Tämä koko prosessi on täysin läpinäkyvä käyttäjälle.
mfsmount kommunikoi hallintaan palvelimelle aina toimintansa tiedostojen metatietoja tarvitaan:
& Nbsp; * luoda tiedostoja
& Nbsp; * tiedostojen poistaminen
& Nbsp; * käsittelyssä hakemistot
& Nbsp; * lukeminen ja muuttaminen attribuutteja
& Nbsp; * muuttamalla tiedoston kokoa
& Nbsp; * alussa tietojen lukemisen tai kirjoittamisen
& Nbsp; * kaikista pääsyä erityisiä tiedostoja MFSMETA
mfsmount käyttää suoran yhteyden datapalvelimelle (murikka palvelin), joka tallentaa asiaa murikka tiedoston. Kun kirjoitat tiedoston, kun viimeistely kirjoittamaan prosessi hallinnassa palvelin vastaanottaa tietoja mfsmount päivittää tiedoston pituus ja viimeinen muutos aikaan.
Lisäksi tiedot palvelimet (murikka palvelimet) kommunikoivat keskenään jäljitellä tietojen saavuttamiseksi sopiva määrä kopioita tiedoston eri koneilla.
& Nbsp;
vikasietoisuutta
& Nbsp;
Hallinnolliset komennoilla voi järjestelmänvalvoja määrittää "tavoite", tai kuinka monta kopiota on säilytettävä, per-hakemisto tai per-tiedosto tasolla. Tavoitteen asettaminen usealle ja jossa on enemmän kuin yksi tieto-palvelin tarjoaa vikasietoisuutta. Kun tiedosto tallennetaan kappalein (useammassa kuin yhdessä datapalvelin), järjestelmä on vastustuskykyinen epäonnistumisia tai tilapäinen verkko seisokit yhden datapalvelimen.
Tämä ei tietenkään viitata tiedostoja "tavoite" on 1, jolloin tiedosto olemassa vain yksi datapalvelin riippumatta siitä, kuinka monta tietoja palvelimet käyttöön järjestelmän.
Poikkeuksellisen tärkeät tiedostot voivat olla niiden tavoite asetettu numero on suurempi kuin kaksi, jonka avulla nämä tiedostot kestettävä jakautuminen useammalle kuin yhdelle palvelimelle kerralla.
Yleisesti asetus kopioiden määrä käytettävissä pitäisi olla yksi enemmän kuin ennakoidun määrän saavuttamattomissa tai out-of-order palvelimia.
Siinä tapauksessa yksi datapalvelin kokee epäonnistumisen tai katkaisua verkosta, tiedostot tallennetaan se, että oli ainakin kaksi kappaletta, jää pääsee toisesta datapalvelimelta. Tietoja, jotka on nyt "sen tavoitteen" toistuu toisella saatavilla datapalvelimen jälleen tarjota tarvittava määrä kopioita.
On syytä huomata, että jos käytettävissä olevien palvelinten on pienempi kuin "tavoite" asettaa tietyn tiedoston, tarvittava määrä kopioita ei voida säilyttää. Samoin jos on sama määrä palvelimia kuin nykyisin asetettu tavoite, ja jos datapalvelin on saavuttanut 100% sen kapasiteetista, se ei voi aloittaa pitämään kopio tiedostoista on alle sen tavoitteena kynnyksen takia toiseen datapalvelin menee offline. Näissä tapauksissa uudet tiedot palvelimelle tulee liittää järjestelmään niin pian kuin mahdollista, jotta yllä haluttu määrä kopioita tiedoston.
Uudet tiedot palvelin voidaan liittää järjestelmään milloin tahansa. Uusi kapasiteetti tulee välittömästi käytettävissä uusien tiedostojen tallentamiseen tai pitämään REPL kopioita tiedostoja muista datapalvelimia.
Hallinnolliset perushyödykkeitä kyselyn tilan tiedostoja tiedostojärjestelmän onko jokin tiedostot ovat tällä hetkellä alle päämääräänsä (kopioiden määrä). Sen avulla voidaan myös käyttää muuttamaan tavoitteiden asettaminen tarpeen.
Tiedot fragmentit tallennetut paloina versioiduilla, niin uudelleen liittämällä datapalvelin isompien kopiota (kuten jos se olisi ollut offline aikaa), ei aiheuta tiedostot tulla epäyhtenäistä. Datapalvelin synkronoi itsensä pitämään nykyiset versiot paloina, jossa vanhentunut paloina poistetaan ja vapaa tila jaetaan uudelleen järjestää uuden paloina.
Viat asiakkaan kone (joka kulkee mfsmount prosessi) ei ole vaikutusta johdonmukaisuutta tiedostojärjestelmän tai muiden asiakkaan toimintaan. Pahimmassa tapauksessa tiedot, joita ei vielä ole lähetetty epäonnistui asiakkaan tietokone voi kadota.
& Nbsp;
PLATFORMS
& Nbsp; MooseFS on käytettävissä kaikissa käyttöjärjestelmä työ- FUSE täytäntöönpanoa:
& Nbsp; * Linux (Linux 2.6.14 ja jopa on FUSE tukea mukana virallisessa ytimen)
& Nbsp; * FreeBSD
& Nbsp; * OpenSolaris
& Nbsp; * MacOS X
Master-palvelin, metalogger palvelin ja chunkservers myös Solaris tai Windows kanssa Cygwin. Valitettavasti ilman FUSE se ei ole mahdollista asentaa tiedostojärjestelmään näissä käyttöjärjestelmissä.