Sagteware kiekie:
Crawler is 'n funksie ryk wat baie opsies kruip webwerf. Stel instellings op vir die aantal gelyktydige verbindings, drade, persoonlike aansluitings- en lees-time-outwaardes, crawlerfilters, robots.txt, verwydering van sessie-ID's, skandering van JavaScript- en CSS-lêers, instaan van proxy, webwerf-aanmelding en verskeie ander opsies.
Kommentaar nie gevind