Methabot

Methabot ohjelmisto on nopeus-optimoitu, koodattavissa ja erittäin muokattavissa web, ftp ja paikallisen tiedostojärjestelmän tela. Se tukee Scripted filetype jäsennys, erilaisia ​​muokkausmahdollisuudet ja on helppo konfiguroida sopimaan anyones erityistarpeisiin.
Käytön kanssa moduulin järjestelmän ja komentosarjakieli, käyttäjät voivat ottaa kokonaan tai osittain määräysvallan indeksointi prosessin ja päättää kuitenkin Methabot pitäisi tallentaa web data, tilastot ja paljon muuta.
Vain käynnissä Methabot komentoriviltä voit configure mukautettuja tiedostotyyppejä, suodatus ilmaisuja, käyttäytyminen, ja paljon enemmän, joten sinun ei tarvitse olla scripter!

Ominaisuudet :

• Se on nopea, suunniteltu alusta ja ylös lisäoptimointien mielessä.
• Scriptable läpi Javascript kanssa E4X
• Käyttäjän määrittämä tiedostotyypin suodatus (mukaan MIME-tyyppi, tiedostopääte tai UMEX lauseke)
• monisäikeisen
• Erittäin muokattava komentoriviltä
• Extensible moduuli järjestelmä, joka tukee mukautettuja tietoja jäsentimet ja suodattimia.
• Yksinkertainen mutta tehokas suodatus URL kautta UMEX.
• Automaattinen lataaminen
• Tuki automaattinen evästeiden käsittely ajettaessa HTTP
• Luotettava, vikasietoinen verkko
• Kannettava, testattu menestys 32-bit / 64-bit Linux 2.6, 32-bit / 64-bit FreeBSD 6.x / 7.0, Windows XP ja Mac OS X: Pitäisi toimia lähes millä tahansa Unix-käyttöjärjestelmä.

Mikä on uusi tässä julkaisussa:

• Bugikorjaus, kun ulkoinen-ilmeeseen käytettiin syvyyden raja oli sekaisin.
• Muistin käyttö uudelleenjärjestäminen korjauksia
• dynaaminen-url vaihtoehto ei enää asetettu lookup oletuksena, koska se hidastaa indeksoinnin merkittävästi
• Rakenna järjestelmä luo nyt ja asentaa joitakin header-tiedostoja, jotka moduulit voidaan käyttää, kun yhdistää
• meta-config lisätään
• lmm_mysql muutti ulkopuolella tämän paketin

Mikä on uusi versiossa 1.5.0:

• Muutokset ja uusia ominaisuuksia:
• Tuki lukemiseen intial puskurin vakiosyötteestä
• - tyyppi ja --base-url komentorivivalinnat lisätään yhdessä initial_filetype vaihtoehto konfigurointitiedostot
• Evästeet ja DNS-info on nyt oikein jaettu työntekijöiden juostessa monisäikeinen
• Lisäsin esimerkiksi käytöstä komentoja --examples
• Big parannuksia välistä lanka viestintä, nyt nopeammin ja järjestäytyneen
• Lisätty tuki "init" toimintoja käsikirjoituksiin. Lue lisää init toimintoja http://bithack.se/projects/methabot/docs/e4x/init_functions.html
• libmetha ei jäädy, kun teet useita samanaikaisia ​​HTTP HEAD pyyntöjä enää. Syynä jäätyy oli virhe libcurl joka on nyt korjattu. Jotkut kiertoteitä on lisätty libmetha estää jumiutuu ilmenemisen käytettäessä vika libcurl versiot samoin.
• Tuki vanhemmille libcurl versioiden 7.17.x ja 7.16.x
• Uusi tieto on saatavilla & quot; tähän & quot; kohde javascript jäsentimiä, sisältö-tyyppi ja siirto tilakoodi. Lue lisää osoitteessa http://bithack.se/projects/methabot/docs/e4x/this.html
• - verbose vaihtoehto korvataan --silent, koska verbose moodi on nyt oletusarvona
• Alustava tukee FTP indeksointi ja ftp_dir_url tela vaihtoehto
• Syvyys rajoittaminen on nyt tela-erityisiä
• Lisätty komentorivivalinnat --crawler ja --filetype
• Tuki jatkamisesta ja pakottavista jo määritelty indeksoijat ja tiedostotyyppejä
• Tuki kopion avainsanan konfigurointitiedostot
• Tuki dynaamisesti vaihtaa aktiivista tela, tämä voit ryömiä eri sivustoja täysin eri tavoin yhteen indeksoinnin istuntoon. Lue lisää aiheesta kaivinkoneet kytkentä on http://bithack.se/projects/methabot/docs/crawler_switching.html
• libev versio päivittää 3,51
• sisältää direktiivin konfigurointitiedostot nyt varmistaa mukana asetustiedostoa ei ole vielä ladattu, jotta sisällyttää silmukoita ja useita filetype / tela määritelmiä.
• Various SpiderMonkey roskien keräys korjauksia, libmetha ei kaadu enää, kun siivoaminen monisäikeinen session
• Lisätty ylimääräistä tietoa infon valinta
• "ulkoinen" vaihtoehto on nyt vahvistettu ja otettu uudestaan ​​
• Uusi optio --spread-työntekijöitä
• Uusi libmetha API-toiminto lmetha_global_setopt () mahdollistaa muuttuvassa globaalissa virhe / viesti / varoitus reportteri
• Lisätty toteutuksen testijoukko kehittäjille
• Better virheraportoinnin lastaus konfigurointitiedostot
• Bugikorjaus kun HTTP-palvelin ei palauta Content-Type-otsikon jälkeen HEAD pyyntö
• Bugikorjaus kun lajittelu URL-toistuvassa HTTP HEAD pyyntöjä
• Bugikorjaus on html ja xml-muuntimen, kun HTML-sivun ei ole & lt; html & gt; tag
• Bugikorjaus, extless-url vaihtoehto ei toimi
• Bugikorjaus, html xml-muuntimen enää tukehtuu tavu kertaluvun merkkejä tai muuta tekstiä ennen varsinaista HTML
• Bugikorjaus, esti libmetha yrittävät päästä URL protokollia, jotka eivät tue
• Bugikorjaus kun sammuttamista virheen jälkeen.
• Bugikorjaus, ratkaisematon URL-osoitteita ei puhkeaisi uudelleenyritys silmukan kolmen retries
• Erittäin kokeellisia ja epävakaa tukea Win32, tarkoitettu lähinnä kehittäjille
• Uusi asetustiedostoja:
• google.conf, tehdä google hakuja
• youtube.conf, youtube etsimällä
• meta.conf, tulosteita meta tietoja, kuten avainsanat ja kuvaus siitä HTML-sivuja
• title.conf, tulostaa otsikko HTML-sivuja
• ftp.conf, indeksoinnin FTP-palvelimia

Mikä on uusi versiossa 1.4.1:

• Määritä löytäneet jsapi.h joissakin järjestelmissä , tämä olisi vahvistettava nyt.
• Kokoonpanotiedostot voivat nyt muokata tela ja filetype liput, lisäsi vaihtoehdot "ulkoinen" ja "external_peek"
• Bugikorjaus, Methabot joskus kaatua siivoaminen tyhjä URL-toistuvassa HTTP HEAD
• Korjattu kaatuminen tapahtui ajettaessa synkronissa.
• Rakenna järjestelmä sisältää fix kun jsconfig.h ei löytynyt.

vaatimukset

• SpiderMonkey otsikot
• cURL