PHPCrawl

Kan gebruik word in die skryf search crawlers (spinnekoppe) wat my webblaaie vir verskeie inligting.
PHPCrawl verkry inligting is ingestel om te gaan haal en gee dit meer kragtige programme vir verdere verwerking

Eienskappe :.

• Filters vir URL en Content-Type data
• Definieer maniere koekies te hanteer
• Definieer maniere robots.txt lêers te hanteer
• Beperk sy aktiwiteite in verskeie maniere
• Multi-verwerking modes

Wat is nuut in hierdie release:

• Vaste foute:
• Skakels wat gedeeltelik urlencoded en gedeeltelik nie raak herbou / korrek gekodeer nou.
• verwyder 'n onnodige debug var_dump () uit PHPCrawlerRobotsTxtParser.class.php
• Server-naam-aanduiding in TLS / SSL werk korrek nou.
• & quot; base-href & quot;. -tags In webtuistes raak korrek nou weer geïnterpreteer

Wat is nuut in die weergawe 0.80 beta:

• Kode is heeltemal refactored, oorgedra na PHP5-oo- kode en 'n baie van die kode is herskryf.
• Bygevoeg die vermoë om verskeie prosesse te gebruik om 'n webwerf te spin. Metode & quot; goMultiProcessed () & quot; bygevoeg.
• New overridable metode & quot; initChildProcess () & quot; bygevoeg vir die inisiëring kind-prosesse wanneer die gebruik van die kruiper in multi-proses-modus.
• Implementet 'n alternatiewe, interne SQLite caching-meganisme vir URLs wat dit moontlik maak baie groot webtuistes te spin.
• Metode & quot; setUrlCacheType () & quot; bygevoeg.
• Nuwe metode setWorkingDirectory () bygevoeg vir die definisie van die ligging van die crawlers tydelike werk-handmatig. Daarvoor metode & quot; setTmpFile () & quot; gemerk as deprecated (geen funksie nie).
• Nuwe metode & quot; addContentTypeReceiveRule () & quot; vervang die ou metode & quot; addReceiveContentType () & quot;.
• Die funksie & quot; addReceiveContentType () & quot; steeds teenwoordig is, maar is gemerk as deprecated.

Vereistes :

• PHP 5 of hoër
• PHP met OpenSSL ondersteuning