Hadoopy

Dit is basies 'n Python biblioteek vir MapReduce geskryf in Cython

Eienskappe :.

• Soortgelyke koppelvlak as die Hadoop API (ontwerp patrone bruikbaar tussen Python / Java interfaces)
• Algemene verenigbaarheid met Dumbo om gebruikers toelaat om heen en weer skakel
• bruikbaar op Hadoop trosse sonder Python of admin toegang
• Fast omskakeling en verwerking
• Bly klein en goed gedokumenteer
• Wees deursigtig met wat aangaan
• Hanteer programme met ingewikkelde SO se ctypes en uitbreidings
• Kode geskryf vir hack-vermoë
• Eenvoudige HDFS toegang (bv, lees, skryf, LS)
• Support (en nie herhaal) die groter Hadoop ekosisteem (bv Oozie, gegons)
• outomatiese opdrag parallelliseren 'n motor-oozie 'beskikbaar in die hadoopy vloei projek (gehandhaaf uit tak)
• Plaaslike uitvoering van onveranderde MapReduce werk met launch_local
• Lees / skryf volgorde lêers van TypedBytes direk aan HDFS van python (readtb, writetb)
• Laat druk om stdout en stderr in Hadoop take sonder probleme veroorsaak (gebruik die 'n pyp hop tegniek, beide is beskikbaar in stderr die taak se)
• Werk op clusters sonder enige ekstra installasie, Python, of enige Python biblioteke (gebruik Pyinstaller wat ingesluit is in hierdie bron boom)
• Werke op OS X
• Kritieke pad is in Cython
• Eenvoudige HDFS toegang (readtb en LS) binne Python, selfs binne loop werk
• Eenheid toets jou
• Reporting behulp status en toonbanke (en gedrukte state! Geen behoefte om bang te wees van hulle in Hadoopy)
• Ondersteun ontwerp patrone in die Lin & Dyer boek
• Typedbytes ondersteuning (baie vinnig)
• Oozie ondersteuning

Vereistes :

• Cython 0,13 of hoër