Hadoopy

Se on pohjimmiltaan Python-kirjasto MapReduce kirjoitettu Cython.

Ominaisuudet

• Samanlaisia ​​liitäntä kuin Hadoop API (suunnittelumalleja käytettävissä välillä Python / Java rajapinnat)
• Yleistä yhteensopivuutta Dumbo käyttäjät voivat vaihtaa edestakaisin
• Käytettävissä on Hadoop klustereihin ilman Python tai admin pääsy
• Nopea muuntaminen ja käsittely
• Stay pieniä ja hyvin dokumentoitu
• läpinäkyvästi, mitä on tekeillä
• kahva ohjelmien monimutkaisia ​​Joten n, ctypes, ja laajennukset
• Koodi kirjoitettu hack-kyky
• Yksinkertainen HDFS-yhteys (esim, lukeminen, kirjoittaminen, ls)
• Support (ja ei replikoida) suurempi Hadoop ekosysteemin (esim Oozie, whirr)
• Automatisoidut työpaikka parallelization 'auto-oozie "saatavilla hadoopy virtauksen hanke (yllä pois haara)
• Paikallinen suorittamisen Modifioimattoman MapReduce työtä launch_local
• Lue / kirjoittaa järjestyksessä tiedostoja TypedBytes suoraan HDFS alkaen python (readtb, writetb)
• Mahdollistaa tulostuksen stdout ja stderr vuonna Hadoop tehtävissä aiheuttamatta ongelmia (käytetään "putken hopping 'tekniikalla, molemmat ovat saatavilla tehtävän stderr)
• Toimii klustereihin ilman ylimääräisiä asennus, Python, tai Python kirjastot (käyttää Pyinstaller joka sisältyy tähän lähdekoodiin)
• Toimii OS X
• Kriittinen polku on Cython
• Yksinkertainen HDFS yhteys (readtb ja ls) sisältä Python, jopa sisällä käynnissä työpaikkoja
• Unit rajapinnan
• Raportointi avulla tila ja laskurit (ja tulostaa lausuntoja! Ei tarvitse pelätä niitä Hadoopy)
• Tukee suunnittelumalleja vuonna Lin & Dyer kirja
• Typedbytes tuki (erittäin nopea)
• Oozie tuki

vaatimukset

• Cython 0,13 tai suurempi