WebGraph on puitteet tutkia web kuvaaja. WebGraph tarjoaa yksinkertaisia tapoja hoitaa hyvin suuria kaavioita, hyödyntämällä modernia puristus tekniikoita. Tarkemmin sanottuna se on tällä hetkellä tehty:
1. sarja tasainen koodeja, nimeltään koodeja, jotka ovat erityisen sopivia tallentaa web kaavioita (tai yleensä kokonaislukuja teho-oikeuden jakelu tietyllä eksponenttialueen). Se, että nämä koodit toimivat hyvin voidaan helposti testata empiirisesti, mutta me myös yrittää tarjota yksityiskohtaista matemaattisen analyysin.
2. Algoritmit pakkaa web kaavioita, jotka hyödyntävät kuilu puristus ja referentiation (la LINK), intervalisation ja koodit tarjota korkea puristussuhde: esimerkiksi WebBase kuvaaja (2001 indeksointi) puristetaan 3,08 bittiä per linkki, ja tilannekuvan noin 18.500.000 sivua .uk verkkotunnuksen torjui UbiCrawler puristetaan 2,22 bittiä per linkki (vastaavat luvut osaksi kuvaajat ovat 2,89 bittiä per linkkiä ja 1,98 bittiä per linkki). Algoritmit ohjataan useita parametreja, jotka tarjoavat erilaisia kompromisseja pääsyn nopeus ja puristussuhde.
3. Algoritmit saatavuuden pakatun kuvaajan ilman todella purkamisen sitä käyttäen laiska tekniikoita, jotka viivästyttävät purku, kunnes se on todella tarpeen.
4. Täydellinen, dokumentoitu täytäntöönpano algoritmeja edellä Java, pakkauksen sisältämien it.unimi.dsi.webgraph. Lisäksi selkeästi määritelty API, paketti sisältää useita luokkia, joiden avulla muuttaa (esim osaksi) tai pakkaa kuvaajan, niin kokeilemaan eri asetuksia. Paketti perustuu fastutil varten tyypille ominaisia, korkean suorituskyvyn kokoelmat puitteet, on MG4J bitin tason I / O, on COLT jakelu valmis-to-use, tehokkaita algoritmeja ja GNU getopt linjalaajuisille komento jäsentämiseen.
5. aineistoja erittäin suuri kuvaaja (esim miljardia linkit). Nämä ovat joko julkisista lähteistä kerättyihin (kuten WebBase) tai tuotettu UbiCrawler.
Lopulta kanssa WebGraph voit käyttää ja analysoida erittäin suurta Web kuvaaja, jopa PC niin vähän kuin 256 megatavua RAM-muistia. Käyttämällä WebGraph on yhtä helppoa kuin asentamalla muutama purkki tiedostoja ja ladata keräämiseen. Tämä tekee ilmiöiden kuten PageRank, jakelu kuvaajan ominaisuuksia web kuvaajan jne erittäin helppoa.
Mitä uutta tässä julkaisussa:
- Tämä versio lisää useita parannuksia HyperANF, ja muutama bugikorjauksia.
- WebGraph voidaan nyt löytyy Maven Keski.
Mitä uutta versiossa 2.4.5:
- Tämä versio sisältää toteuttamista HyperANF, uusi skaalautuva algoritmi naapuruston funktio kuvaajan, ja menetelmiä, jotka laskevat keskimäärin lyhin tie ja muita johdettuja tietoja naapuruston toiminto.
- Lisäksi runsaasti tilastotietoja lasketaan nyt puristuksen aikana.
Mitä uutta versiossa 2.4.4:
- Jotkut vanhat asetukset on poistettu.
- kiinteistö tiedostot sisältävät nyt runsaasti hyödyllisiä tilastoja.
- Random access nopeus on parantunut.
Mitä uutta versiossa 2.4.3:
- Kiinteä ArrayListMutableGraph.addNodes () (kiitos Erik Lumer löytää ja tämän vian korjaamisesta).
- Uusi vaihtoehtoja siirtää tuotos ASCII kuvaajia.
- RemappedImmutableGraph.successorArray (x) tarjosi saman array jokaisen puhelun, jolloin perinyt seuraajat (x) menetelmä käyttökelvottomaksi skannata samanaikaisesti eri luetteloihin. Kiinteä (nyt se palauttaa kopio array sijaan).
- Uusi satunnainen muutos, joka permutoi satunnaisesti kuvaaja.
Mitä uutta versiossa 2.4.2:
- Uusi & quot; säveltää & quot; rakentaa mahdollistaa säveltää (arc-leimattu) kuvaajat.
Kommentteja ei löytynyt