robots.js 0.9.4

Kan gebruik word om te trek uit die data van die robots.txt lêer en voer dit na ander programme of statistieke gereedskap.Sal onttrek teiken URL, rede vir toegang en status data Wat is nuut in hierdie release:. Hanteer http (s ) versoek foute. ...