WebGraph

WebGraph is 'n raamwerk van die web grafiek te bestudeer. WebGraph bied eenvoudige maniere baie groot grafieke te bestuur, die ontginning van die moderne kompressie-tegnieke. Meer presies, is dit tans ':
1. 'n stel van plat kodes, genoem kodes, wat veral geskik is vir die berging van web grafieke (of, in die algemeen, heelgetalle met krag-wet verspreiding in 'n sekere eksponent reeks). Die feit dat hierdie kodes werk goed kan maklik empiries getoets word, maar ons het ook probeer om 'n gedetailleerde wiskundige analise te voorsien.
2. Algoritmes vir die comprimeren web grafieke daardie gaping kompressie en referentiation (la skakel) ontgin, intervalisation en kodes 'n hoë kompressieverhouding te voorsien: byvoorbeeld, is die WebBase grafiek (2001 crawl) saamgeperste by 3.08 bisse per skakel, en 'n momentopname van ongeveer 18.500.000 bladsye van die .uk domein ingesamel deur UbiCrawler saamgepers by 2.22 bisse per skakel (die ooreenstemmende syfers vir die getransponeer grafieke is 2,89 bisse per skakel en 1,98 bisse per skakel). Die algoritmes word beheer deur verskeie parameters, wat bied verskillende werkinge tussen toegang spoed en kompressieverhouding.
3. Algoritmes vir toegang tot 'n saamgeperste grafiek sonder om werklik decompressie dit, met behulp van lui tegnieke wat vertraag die dekompressie totdat dit is eintlik wat nodig is.
4. 'n volledige, gedokumenteer implementering van die algoritmes bo in Java, soos vervat in die pakket it.unimi.dsi.webgraph. Behalwe vir 'n duidelik gedefinieerde API, die pakket bevat verskeie klasse wat toelaat om te verander (bv transponeer) of comprimeren 'n grafiek, so om te eksperimenteer met verskeie instellings. Die pakket is afhanklik van fastutil vir 'n tipe-spesifieke, hoë-prestasie versamelings raamwerk, op MG4J vir bietjie-vlak I / O, op die vul verspreiding vir gereed-om-te gebruik, doeltreffende algoritmes en op GNU getopt vir lyn-opdrag parsing.
5. Data stelle vir baie groot grafiek (bv, 'n miljard van links). Hierdie is óf versamel uit die openbare bronne (soos WebBase), of geproduseer deur UbiCrawler.
In die einde, met WebGraph kan jy toegang tot en analiseer 'n baie groot web grafiek, selfs op 'n rekenaar met so min as 256 Mbytes RAM. Met behulp van WebGraph is so maklik soos die installering van 'n paar jar lêers en aflaai van 'n stel data. Dit maak die bestudering van verskynsels soos PageRank, verspreiding grafiek eienskappe van die web grafiek, ens baie maklik

Wat is nuut in hierdie release:.

• Hierdie weergawe voeg 'n paar verbeteringe aan te HyperANF, en 'n paar bugfixes.
• WebGraph kan nou gevind word op Maven Sentraal.

Wat is nuut in die weergawe 2.4.5:

• Hierdie weergawe bevat 'n implementering van HyperANF, 'n nuwe hoogs haalbare algoritme vir die berekening van die omgewing funksie van 'n grafiek en metodes wat die gemiddelde kortste pad en ander afgeleide data uit die omgewing funksie bereken.
• Verder, 'n rykdom van statistiese data word nou bereken tydens kompressie.

Wat is nuut in die weergawe 2.4.4:.

• 'n Paar ou opsies verwyder
• Die eiendom lêers bevat nou 'n rykdom van nuttige statistieke.
• Random toegang spoed is verbeter.

Wat is nuut in die weergawe 2.4.3:

• Vaste ArrayListMutableGraph.addNodes () (danksy Erik Lumer vir die vind van en die vasstelling van hierdie fout).
• New opsies om die uitset van ASCII grafieke te skuif.
• RemappedImmutableGraph.successorArray (x) is die verskaffing van dieselfde skikking op elke oproep, waardeur die geërf opvolgers (x) metode onbruikbaar te scan in parallel verskillende lyste. Vaste (nou is dit terug 'n afskrif van die skikking, plaas).
• New ewekansige transformasie wat lukraak permutes 'n grafiek.

Wat is nuut in die weergawe 2.4.2:

• 'n nuwe & quot; komponeer & quot; bou dit moontlik maak om te komponeer (boog benoemde) grafieke.