Methabot

Die Methabot sagteware is 'n spoed new, script en hoogs konfigureerbare web, ftp en plaaslike lêerstelsel kruiper. Dit ondersteun Geskrewe filetype parsing, 'n wye verskeidenheid van aanpassing opsies en is maklik ingestel om anyones spesifieke behoeftes te pas.
Met die gebruik van die module stelsel en script taal, gebruikers in staat is om die volle of gedeeltelike beheer van die crawl proses neem en besluit egter Methabot moet web data, statistieke en nog baie meer te stoor.
Net deur die loop van die opdrag lyn Methabot jy in staat is konfigureer persoonlike lêer formaat, filter uitdrukkings, gedrag, en nog baie meer, so jy hoef nie na 'n scripter wees

Eienskappe !

• Dit is vinnig, ontwerp van die grond en met spoed-optimization in gedagte.
• Script deur Javascript met E4X
• Gebruiker-gedefinieerde filetype filter (volgens MIME-tipe, lêer uitbreiding of UMEX uitdrukking)
• Multi-threaded
• Hoogs konfigureerbare van command line
• Extensible module stelsel, ondersteun persoonlike data parsers en filters.
• Eenvoudige maar kragtige filter van URLs deur UMEX.
• outomatiese aflaai
• Ondersteuning vir outomatiese koekie hantering toe hardloop oor HTTP
• Betroubare, fout tolerante netwerk
• Portable, getoets met sukses op 32-bit / 64-bit Linux 2.6, 32-bit / 64-bit FreeBSD 6.x / 7,0, Windows XP en Mac OS X. moet werk op byna enige Unix-agtige bedryfstelsel.

Wat is nuut in hierdie release:

• Bugfix wanneer eksterne blik gebruik die diepte limiet was deurmekaar.

Gebruik
• Memory opruim fixes
• dinamiese url opsie is nie meer ingestel om te soek by verstek, aangesien dit vertraag die aansienlik kruip
• Bou stelsel skep nou en installeer 'n kop lêers wat modules kan gebruik wanneer die koppeling
• metha-config instrument bygevoeg
• lmm_mysql verskuif buite hierdie pakket

Wat is nuut in weergawe 1.5.0:

• Wysigings en nuwe funksies
• Steun vir die lees van aanvanklike buffer van stdin
• - tipe en --base-url command line opsies bygevoeg, saam met die initial_filetype opsie in konfigurasielêers
• Koekies en DNS info is nou behoorlik verdeel tussen werkers toe hardloop multi
• Bygevoeg sommige voorbeeld gebruik beveel om --examples
• Big verbeterings aan die inter-draad kommunikasie, nou vinniger en meer georganiseer
• Bygevoeg ondersteuning vir funksies 'init' skrifte. Lees meer oor init funksies by http://bithack.se/projects/methabot/docs/e4x/init_functions.html
• libmetha nie vries wanneer jy verskeie gelyktydige HTTP HEAD versoeke nie. Die rede vir die vries was 'n fout in libcurl wat nou vasgestel. Sommige regstellings is bygevoeg libmetha te verhoed dat die vries van voorkomende wanneer die gebruik van die defek libcurl weergawes so goed.
• Ondersteuning vir ouer weergawes libcurl 7.17.x en 7.16.x
• New inligting is beskikbaar in die & quot; hierdie & quot; voorwerp van JavaScript parsers, inhoud-tipe en oordrag status kode. Lees meer by http://bithack.se/projects/methabot/docs/e4x/this.html
• - verbose opsie vervang met --silent, aangesien verbose mode nou standaard
• Aanvanklike ondersteuning vir FTP kruip en die opsie ftp_dir_url kruiper
• Diepte beperk is nou kruiper spesifieke
• Bygevoeg die command line opsies --crawler en --filetype
• Steun vir die uitbreiding van en oorheersende reeds gedefinieer crawlers en lêer formaat
• Steun vir die kopie navraag in konfigurasielêers
• Ondersteuning vir dinamiese skakel die aktiewe kruiper, dit kan jy kruip verskillende webwerwe in heeltemal verskillende maniere in een kruip sessie. Lees meer oor kruiper skakel by http://bithack.se/projects/methabot/docs/crawler_switching.html
• libev weergawe opgradeer na 3,51
• Die sluit richtlijn in konfigurasielêers nou maak seker dat die ingesluit konfigurasielêer nie reeds gelaai, om te verhoed dat te sluit-lusse en verskeie filetype / kruiper definisies.
• Verskeie Spider Monkey vullisverwydering fixes, libmetha nie meer crash wanneer skoonmaak na 'n multi-sessie
• Bygevoeg 'n paar ekstra inligting aan die --info opsie
• Die 'eksterne' opsie is nou vas en weer aangesit
• New opsie --spread-werkers
• New libmetha API funksie lmetha_global_setopt () toelaat verandering van die globale fout / boodskap / waarskuwing verslaggewer
• Bygevoeg aanvanklike implementering van 'n toets suite vir ontwikkelaars
• Beter fout verslagdoening wanneer laai konfigurasielêers
• Bugfix wanneer 'n HTTP-bediener het nie 'n Content-Type kop terug na 'n HEAD-versoek
• Bugfix wanneer sorteer URLs ná verskeie versoeke HTTP HEAD
• Bugfix in die html om xml converter toe die HTML bladsy het nie 'n & lt; html & gt; tag
• Bugfix, sal die opsie extless-url werk nie
• Bugfix, html om xml converter nie meer verstik op byte-orde punte of ander teks voor die werklike HTML
• Bugfix, verhoed libmetha uit te probeer om toegang tot URLs van protokolle wat nie ondersteun word
• Bugfix wanneer gesluit nadat 'n fout.
• Bugfix, unresolvable URLs nie breek uit die weer probeer loop na drie Pogingen
• Baie eksperimentele en onstabiele ondersteuning vir Win32, hoofsaaklik bedoel vir ontwikkelaars
• New konfigurasielêers:
• google.conf, uit te voer Google-soektogte
• youtube.conf, youtube soek
• meta.conf, afdrukke meta inligting soos dokumente en beskrywing oor HTML bladsye
• title.conf, druk die titel van HTML bladsye
• ftp.conf vir kruip FTP bedieners

Wat is nuut in weergawe 1.4.1:

• Konfigureer kon dit nie vind jsapi.h op sommige sisteme Dit moet nou vasgestel word.
• Configuration lêers is nou in staat om kruiper en filetype vlae verander, het bygevoeg dat die opsies 'eksterne' en 'external_peek'
• Bugfix, Methabot sou soms crash wanneer die skoonmaak van leë URL na verskeie HTTP HEAD
• Vaste 'n ongeluk wat plaasgevind het toe sinkronies loop.
• Bou stelsel sluit fix wanneer jsconfig.h nie kon gevind word nie.

Vereistes :

• Spider Monkey headers
• cURL