Spidr

Die script kan loop op 'n enkele bladsy, webwerf, verskeie domeine of selfs non-stop.
Spidr is ontwerp om vinnig en maklik om te gebruik

Eienskappe :.

• Die herstel van die spider tou en geskiedenis van 'n vorige sessie .
• Custom User-Agent snare.
• Custom proxy instellings.
• HTTPS ondersteuning.


• volg:
• 'n tags.
• iframe tags.
• raam tags.
• Koekie beskerm skakels.
• HTTP 300, 301, 302, 303 en 307 aansture.
• Meta-Herlaai aansture.
• HTTP Basiese Auth beskerm skakels.


• Black-lys of wit-lys URLs gebaseer op:
• URL skema.
• Host name
• Port getal
• Full skakel
• URL uitbreiding


• Verskaf call-rug vir:
• Elke besoek Page.
• Elke besoek URL.
• Elke besoek URL om by 'n bepaalde patroon.
• Elke oorsprong en bestemming URI van 'n skakel.
• Elke URL wat versuim het om besoek te word.


• Verskaf aksie metodes om:
• Stop spider.
• Slaan verwerking van bladsye.
• Slaan verwerking van skakels.

Wat is nuut in hierdie release:

• Vang OpenSSL :: SSL :: SSLError uitsonderings wanneer geïnisieer HTTPS sessies.