robots.js 0.9.4

Voidaan käyttää vetämään tietoja robots.txt-tiedosto ja rehujen sen muihin sovelluksiin tai tilastoja työkaluja.Purkaa kohde URL, syy-yhteys ja tilatietoja. Mikä on uusi tässä julkaisussa: kahvat http (s ) pyynnöstä virheet. Mikä on uusi ...