Scrapy

Scrapy is 'n hoë vlak web kruip en skraap raamwerk vir die skryf van spinnekoppe te soek en ontleed webblaaie vir alle doeleindes, van inligtingherwinning aan monitering of toetsing webwerwe.

Eienskappe :

• Eenvoudige:
• Scrapy is ontwerp met eenvoud in gedagte, deur die verskaffing van die eienskappe wat jy nodig het sonder om in jou pad


• Produktiewe:
• skryf net die reëls van die data van webblaaie te onttrek en laat Scrapy kruip die hele web werf vir jou


• Fast:
• Scrapy word gebruik in die produksie crawlers heeltemal skraap meer as 500 handelaar webwerwe daagliks, alles in een bediener


• Extensible:
• Scrapy is ontwerp met rekbaarheid in gedagte en dit bied verskeie meganismes nuwe kode te prop sonder die raamwerk kern aan te raak


• Draagbare:
• Scrapy loop op Linux, Windows, Mac en BSD


• Open Source en 100% Python:
• Scrapy is heeltemal in Python geskryf, wat maak dit baie maklik om te hack


• Goed getoets:
• Scrapy het 'n uitgebreide toets suite met 'n baie goeie kode dekking

Vereistes :

• Python