Spidr

skripti voi ajaa yhdellä sivulla, sivuston, useita verkkotunnuksia tai jopa non-stop.
Spidr on suunniteltu nopea ja helppokäyttöinen.

Ominaisuudet

• Palauta spidering jonoon ja historiaa edellisen istunnon .
• Custom User-Agent jousille.
• Custom välityspalvelimen asetukset.
• HTTPS tukea.


• seuraavasti:
• tunnisteet.
• iframe-tunnisteita.
• runko tageja.
• Cookie suojattuja yhteyksiä.
• HTTP 300, 301, 302, 303 ja 307 Ohjaukset.
• Meta-Päivitä Uudelleenohjaukset.
• HTTP Basic Auth suojattuja yhteyksiä.


• musta lista tai valkoinen-lista URL-osoitteita perustuvat:
• URL järjestelmään.
• Host name
• portin numero
• Full link
• URL laajennus


• Tarjoaa call-selkänsä:
• Joka vieraili Page.
• Joka vieraili URL.
• Joka vieraili URL, joka vastaa eritellyn mallin.
• Joka lähtöpaikan ja määränpään URI-linkin.
• Jokaisen URL epäonnistui käynyt.


• Tarjoaa toiminta menetelmiä:
• Tauko indeksointikin.
• Siirry käsittelyn sivuja.
• Siirry käsittelyn linkkejä.

Mikä on uusi tässä julkaisussa:

• Catch OpenSSL :: SSL :: SSLError poikkeuksia, kun aloitetaan HTTPS Sessions.