ASPseek

ASPseek is 'n Internet soektog sagteware wat ontwikkel is deur SWsoft en gelisensieer as vrye sagteware onder die GNU GPL.
ASPseek bestaan ​​uit 'n kruip robot, 'n soektog bediener, en 'n CGI search frontend. Dit kan kruip soveel as 'n paar miljoen URLs en soek vir woorde en frases, gebruik wildcards, en doen 'n Boole search. Resultate kan beperk word tot tyd gegee, site of Web ruimte (stel van webwerwe) en gesorteer volgens relevansie (PageRank gebruik word) of 'n datum.
ASPseek is geskik vir verskeie plekke (threaded indeks async DNS-soektogte, groepering resultate deur die webblad, Web spasies), maar kan gebruik word vir die soek 'n site so goed. ASPseek kan werk met verskeie tale / enkoderings keer (insluitend multibyte enkoderings soos Chinese) as gevolg van Unicode stoor af. Ander kenmerke sluit in stopwoorde en ispell ondersteuning, 'n charset en taal gisser, HTML templates vir resultate, uittreksels, en navraag woorde beklemtoon.
ASPseek is geskryf in C ++ met behulp van die STL biblioteek, en gebruik mengsel van SQL databasis en binêre lêers vir die stoor.
Hier is 'n paar belangrike funksies van "ASPseek":
Vermoë om indeks en soek deur verskeie miljoene dokumente
 
· Die gebruik van ASPseek, kan jy 'n databasis op te bou en soek deur baie plekke, en die resultate vir elke navraag sal vinnig terug, selfs as jy 'n paar miljoene dokumente geïndekseer. Natuurlik, dit hang af van die hardeware, so moenie verwag "goeie ou" i486 masjien elke terrein in com domein hanteer. Alles hang af van CPU (s), geheue, skyf spoed ens So moenie jou eie toetse voor jy koop toegewyde hardeware.
 
· Die feit dat ASPseek is geskik vir hoë volumes moet jy nie ophou om dit te gebruik om jou eie webwerf wat paar honderd van dokumente bevat soek - dit werk ook daar.
 
Baie goeie resultate relevant
 
· Die doel van die soektog is om uit te vind wat die gebruiker wil hê. Daar kan duisende URLs gevind as 'n gevolg van navraag, maar dit kan al irrelevant wees, so gebruiker sal ontevrede wees.
 
· Uitset resultate in ASPseek is gesorteer volgens relevansie (of rang), maar rang berekening is nie 'n maklike taak nie. Ontwikkelaars het hul bes probeer om die grootste en nuutste tegnieke te neem in ASPseek enjin terwyl die handhawing van goeie search spoed.
 
Ispell ondersteuning
 
· Wanneer ASPseek gebruik met ispell ondersteuning, searchd (1) kan opsioneel vind alle vorme vir alle gespesifiseerde woorde (byvoorbeeld: skep -> maak of geskep of skep). So, dit kan jy die woord in al die verskillende vorme te vind.
 
Unicode stoor af
 
· ASPseek inligting oor dokumente in Unicode slaan, moontlik maak om te implementeer 'n multi-taal soektog. Dus, kan jy indeks en soek die dokumente in Engels, Russies en selfs Chinese, alles in een databasis.
 
HTTP, HTTPS, HTTP proxy, FTP (via proxy) protokolle
 
· As ASPseek is 'n Web soek enjin, is dit gebruik HTTP protokol indeks webwerwe. ASPseek ondersteun ook veilige https: // protokol. FTP-protokol is nie direk ondersteun, maar jy kan proxy (soos inkvis) en die indeks FTP webwerwe gebruik via proxy.
 
· ASPseek ondersteun "basiese magtiging" funksie van HTTP sodat jy kan kruip wagwoord-beskermde gebiede (byvoorbeeld private inligting in jou intranet).
 
Teks / html en teks / plain tipes dokument ondersteuning
 
· ASPseek kan dokumente in HTML en teks dokumente te verstaan. Dit is die mees gewilde formate in Internet.
 
· Ander formate, soos PDF, RTF, ens, ondersteun kan word met die hulp van 'n eksterne program / script wat in staat is om te sit wat formate na HTML of plain text.
 
Multi ontwerp, async DNS resolver ens
 
· ASPseek gebruik POSIX drade, wat beteken dat een proses het baie drade hardloop in parallel. So indeks downloads dokumente uit baie plekke en soek daemon prosesse baie navrae gelyktydig. Dit help nie net om goed ASPseek skaal op SMP (multiprocessor) stelsels, maar ook verbeter kruip spoed, want in die geval van 'n draad meeste tyd sal bestee word aan wag vir data van die netwerk.
 
· Een ding wat stadig kruip proses af 'n baie is DNS ('n proses van die bepaling van IP-adres met die naam bediener). Om vertragings te vermy, is asynchrone soektogte (lookup word gedoen deur afsonderlike toegewyde prosesse) en IP adres kas geïmplementeer.
 
Stopwoorde
 
· Stopwoorde is 'n woorde wat geen betekenis het deur self. Voorbeelde: is, is op hierdie. Soek vir ten nutteloos, so sulke woorde is uitgesluit van soektog. Stopwoorde is ook uitgesluit van databasis tydens kruip, so databasis kleiner en vinniger.
 
· Daar is geen "ingeboude" stopwoorde in ASPseek, is hulle tydens start-up van lêers gelaai. Baie stopword lêers vir verskillende tale kom met ASPseek.
 
Charset guesse
 
· Sommige gebreekte of wangekonfigureer bedieners nie kliënte vertel die karakterstel waarin hulle verskaf inhoud. As jy kruip so bedieners, of die gebruik van ASPseek na die indeks ftp bedieners (FTP protokol weet niks van teken sets), kan charset gisser gebruik word om dit te hanteer. Charset gisser gebruik woord frekwensietabelle (genoem langmaps) korrekte charset bepaal.
 
Robot uitsluiting standaard (robots.txt) ondersteuning
 
· ASPseek ondersteun hierdie standaard ten volle. Dit is bedoel vir die webwerf skrywers vir die vertel van die robot (byvoorbeeld, ASPseek se indeks (1)) oor te slaan kruip sommige dopgehou van hul webwerwe.
 
· Vir meer inligting sien http://www.robotstxt.org/wc/robots.html
 
Instellings netwerk bandwydte gebruik en Web bedieners vrag te beheer
 
· Jy kan die netwerk bandwydte presies beheer wat indeks (1) gebruik. Presies, kan jy die bandwydte (uitgedruk in grepe per sekonde) gebruik word deur indeks (1) vir gegewe tyd-van-dag te beperk. Byvoorbeeld, kan jy die bandwydte gedurende besigheidsure beperk sodat die mense by jou kantoor stadige Internet nie sal ervaar.
 
· Jy kan ook die minimum tyd tussen twee navrae aan dieselfde Web bediener, so dit sal nie oorlaai word nie en het na sy knieë terwyl jy hardloop indeks (1).
 
Real-time asynchrone kruip
 
· Sommige soek enjins vereis dat search moet gestop word vir die tyd van die databasis update. ASPseek dit nie nodig nie, so jy non-stop kan soek.
 
· Meer om te sê, daar is 'n spesiale modus van kruip genaamd "real-time" kruip. Jy kan dit gebruik vir klein aantal dokumente, en so ver as so 'n dokument afgelaai en verwerk, veranderinge is onmiddellik sigbaar op soek koppelvlak. Hierdie funksie is 'n groot hulp as jy bou soektog vir bladsye met vinnig veranderende inhoud, soos aanlyn nuus ens
 
· Let daarop dat aantal dokumente in "real-time" databasis is beperk. Dit gaan oor 1000 op ons hardeware (jou kilometers kan wissel) en die meer dokumente wat jy in "real-time" databasis, hoe stadiger sal die spoed van kruip in daardie (en net dit) databasis wees nie. Dit sal geen invloed op soek spoed though.
 
· Dokumente van "real-time" databasis geskuif word na normaal databasis na die uitvoer-indeks (1) in 'n normale manier.
 
Sorteer resultate volgens relevansie of datum
 
· Soekenjins keer gewoonlik mees relevante resultate eerste. Maar as jy op soek is vir die laaste bladsye, kan jy ASPseek vertel resultate sorteer deur laaste wysiging datum, so onlangs gemodifiseerde (of geskep) bladsye eers vertoon.
 
Uittreksels, navraag woorde beklemtoon
· Uittreksel is 'n stukkie van die dokument gevind met woorde gesoek uitgelig, net om 'n idee van wat die dokument is oor te gee. Jy kan die aantal uittreksels vertoon en hul lengte pas. As jy uittreksels sal afskakel, sal die begin van dokument vertoon word.
 
· Elke gevind dokument vergesel met die skakel "kas". ASPseek hou 'n plaaslike saamgeperste Afskrif van elke dokument verwerk, so gebruiker die hele dokument met (opsioneel) kan sien uitgelig woorde wat gesoek, selfs al is dit is verwyder van die oorspronklike webtuiste (wat soms gebeur).
 
Groepering resultate deur die webblad
 
· Die resultate van 'n site kan saam gegroepeer word. As groepering deur plekke op, is slegs twee resultate vertoon word vanaf dieselfde plek by verstek, en die gebruiker kan ander bladsye van dieselfde webtuiste te sien deur 'n "Meer uitslae van ..." skakel.
 
Klone
 
· Clones identies dokumente op verskillende plekke. Hulle is opgespoor en saam gegroepeer, so gebruiker sal nie aangebied word met 'n bladsy vol URLs die identiese dokumente.
 
· Kloon opsporing word gewoonlik beperk deur 'n site (so identies dokumente uit verskillende plekke is nie getel as klone), maar jy kan dit verander deur hercompileren ASPseek met disable-klone-by-site opsie.
 
Ruimtes en deelversamelings
 
· Space is die stel van webwerwe. So, as jy wil die search vernou tot 'n area voorsien, kan jy 'n ruimte te skep en soek in die ruimte. Slegs heel webwerwe (bv http://www.mysite.com/) word toegelaat om ingesluit te word in die ruimte.
 
· Deelversamelings kan ook gebruik word om die soektog te beperk. Jy kan subset skep en sit URL masker (soos http://www.mysite.com/mydir/%) in daardie, en dan beperk search omvang slegs gegee subset.
 
· Jy kan soek omvang beperk om nie net een nie, maar verskeie deelversamelings of spasies.
 
HTML templates vir maklik-om-Aanpassing resultate
 
· Jy kan jou soektog bladsye aan te pas, sodat hulle sal lyk en word naadloos met die res van jou site. Dit word gedoen deur 'n eenvoudige redigering van search sjabloon lêer.
Installasie
gzip -dc aspseek-1.2.10.tar.gz | teer xf -
cd aspseek-1.2.10. / instel
maak
su
maak installeer