Apache Hadoop

Apache Hadoop kehittivät alun perin Yahoo ja hanke on yhdistelmä välillä edellisen Apache Hadoop Core ja Apache Hadoop Common repos.

Hadoop hanke on saanut paljon mainetta ansiosta hyviä tuloksia toteuttamisessa usean palvelimen hajautetun laskennan käsittelyjärjestelmä valtavia määriä tietoa.

Itse projekti on oikeastaan ​​koostuu neljästä osasta. Yksi on Hadoop Common, ns ydin, jonka avulla kaikki muut moduulit toimimaan, toinen on sen ikioma tiedostojärjestelmä - HDFS (Hadoop Distributed File System), kolmas on Hadoop lanka aikataulujen puitteissa, ja lopulta on Hadoop MapReduce järjestelmä tukemiseksi rinnakkaislaskennan.

Näiden uraauurtava järjestelmä, Apache on onnistunut luomaan monia muita sivuprojektien, kuten:

- Apache Ambari

- Apache Avro

- Apache Cassandra

- Apache HBase

- Apache Hive

- Apache Mahout

- Apache sika

- Apache Spark

- Apache Tez

- Apache zookeeper

Kaikki nämä luottavat Hadoop on tehokas tietojenkäsittely moottori tai sen hajautetun tietojenkäsittelyn ominaisuuksia yhdistämällä yksi sen moduuleja niiden ydin on tavalla tai toisella.

Mitä uutta tässä julkaisussa:

• Tuki arkistointia varten
• Läpinäkyvä tiedot levossa salaus (beta)
• Toiminta turvallista DataNode ilman pääkäyttäjän oikeudet
• Hot swap asema: tuki lisää / poista datasolmun määriä uudelleenkäynnistystä datasolmun (beta)
• AES tukea nopeampaa johto salaus
• Tuki pitkään käynnissä palveluja LANGOISTA
• Tuki solmu etikettien aikataulutus
• Tuki aikaan perustuvia resurssien varaukset Kapasiteetti Ajastin (beta)
• Global, jaettua välimuistia sovellettavaksi esineitä (beta)
• Tuki toimintaa varten natiivisti Docker astioissa (alpha)

Mikä on uusi versiossa 2.7.1:

• Tuki arkistointia varten
• Läpinäkyvä tiedot levossa salaus (beta)
• Toiminta turvallista DataNode ilman pääkäyttäjän oikeudet
• Hot swap asema: tuki lisää / poista datasolmun määriä uudelleenkäynnistystä datasolmun (beta)
• AES tukea nopeampaa johto salaus
• Tuki pitkään käynnissä palveluja LANGOISTA
• Tuki solmu etikettien aikataulutus
• Tuki aikaan perustuvia resurssien varaukset Kapasiteetti Ajastin (beta)
• Global, jaettua välimuistia sovellettavaksi esineitä (beta)
• Tuki toimintaa varten natiivisti Docker astioissa (alpha)

Mikä on uusi versiossa 2.7.0:

• Tuki arkistointia varten
• Läpinäkyvä tiedot levossa salaus (beta)
• Toiminta turvallista DataNode ilman pääkäyttäjän oikeudet
• Hot swap asema: tuki lisää / poista datasolmun määriä uudelleenkäynnistystä datasolmun (beta)
• AES tukea nopeampaa johto salaus
• Tuki pitkään käynnissä palveluja LANGOISTA
• Tuki solmu etikettien aikataulutus
• Tuki aikaan perustuvia resurssien varaukset Kapasiteetti Ajastin (beta)
• Global, jaettua välimuistia sovellettavaksi esineitä (beta)
• Tuki toimintaa varten natiivisti Docker astioissa (alpha)

Mikä on uusi versiossa 2.6.0:

• Tuki arkistointia varten
• Läpinäkyvä tiedot levossa salaus (beta)
• Toiminta turvallista DataNode ilman pääkäyttäjän oikeudet
• Hot swap asema: tuki lisää / poista datasolmun määriä uudelleenkäynnistystä datasolmun (beta)
• AES tukea nopeampaa johto salaus
• Tuki pitkään käynnissä palveluja LANGOISTA
• Tuki solmu etikettien aikataulutus
• Tuki aikaan perustuvia resurssien varaukset Kapasiteetti Ajastin (beta)
• Global, jaettua välimuistia sovellettavaksi esineitä (beta)
• Tuki toimintaa varten natiivisti Docker astioissa (alpha)

Mikä on uusi versiossa 2.5.0:

• Authentication parannukset käytettäessä HTTP välityspalvelinta.
• Uusi Hadoop Metrics pesuallas, joka mahdollistaa kirjoittamisen suoraan grafiitti.
• erittely Hadoop -ohjelman Filesystem vaivaa.
• Tuki POSIX-tyyli tiedostojärjestelmä laajennettu ominaisuuksia.
• OfflineImageViewer selaamaan fsimage kautta WebHDFS API.
• Supportability parannuksia ja korjauksia NFS yhdyskäytävä.
• uudistettu Web-UI (HTML5 ja JavaScript) HDFS demoneja.
• LANGOISTA REST API tukea lähettämällä ja tappaminen sovellukset.
• Kerberos integrointi LANGOISTA aikajanalla store.

Mikä on uusi versiossa 2.4.0:

• Tuki Access Control List in HDFS
• Natiivin tuen Rolling Päivitykset HDFS
• Käyttö protokolla-puskureita HDFS FSImage sujuvan operatiivisen päivitykset
• Complete HTTPS tukea HDFS
• Tuki automaattinen Failover langan ResourceManager
• Tehostettua tukea uusia sovelluksia lanka Application History Server ja Application Aikajana Server
• tuki vahva SLA lankaa CapacityScheduler kautta Korvaaminen

Mikä on uusi versiossa 2.3.0:

• Tuki heterogeeninen Storage hierarkiaa HDFS.
• -välimuisti HDFS tietojen keskitettyä hallintoa ja johtamista.
• Yksinkertaistettu jakelun MapReduce binaarien kautta HDFS langan Distributed Cache.

Mikä on uusi versiossa 2.2.0:

• YARN - yleiskäyttöinen resurssienhallinta järjestelmä Hadoop sallimaan MapReduce ja muut muita tietoteknisiä puitteita ja palvelut
• High Availability HDFS
• HDFS Federation
• HDFS Tilannekuvat
• NFSv3 pääsyä tietoihin HDFS

Mikä on uusi versiossa 2.1.0-beta:

• HDFS Tilannekuvat
• Tuki käynnissä Hadoop Microsoft Windows
• LANGOISTA API vakauttaminen

Mikä on uusi versiossa 2.0.3-alpha:

• QJM HDFS HA ​​NameNode
• Multi-resurssien hallintaan (CPU ja muisti) ja lanka
• LANGOISTA ResourceManager Restart
• Merkittävä vakauden mittakaavassa lanka (yli 30000 solmujen ja 14 miljoonaa sovelluksia toistaiseksi ajankohtana release)

Mikä on uusi versiossa 1.0.0:

• Parempi turvallisuus.
• HBase (liitä / hsynch / hflush, ja turvallisuus).
• webhdfs (täysi tuki turvallisuus).
• Suorituskyky mahdollisuuksia saada paikallisia tiedostoja HBase.
• Muut suorituskyvyn parannuksia, korjauksia, ja ominaisuuksia.

Mikä on uusi versiossa 0.20.2:

• RPC-palvelin lähettää puskurin säilyttää koko suurimman vasteen koskaan lähetetään.
• C ++ kirjastot eivät rakentaa Debian Lenny.
• Osa C ++ skriptit eivät chmodded ennen muurahainen toteuttamista.
• Streaming: prosessi edellyttäen tilailmoitukset korvataan joka 10 seoncds.
• IllegalArgumentException kun CombineFileInputFormat käytetään työtä InputFormat.
• Useita vikoja w / Hadoop arkistoista.
• Salli välimuistiin tiedostojärjestelmän tapauksia poistettu käytöstä per-esimerkki perusteella.
• puuttuu synkronointia varten defaultResources sisään Configuration.addResource.
• GzipCodec saisi edustaa BuiltInZlibInflater kuin decompressorType.
• NameNode n HTTPServer voi instanssia InetSocketAddress: IllegalArgumentException heitetään.
• HTTPServer nukkuu negatiivisia arvoja.
• Namenode loppuu of muisti takia muistivuoto ipc Server.
• IPC asiakas vika saattaa aiheuttaa etäkutsun ripustaa.
• Muutoin testeissä estää loput testitauluja toimeksiannosta.
• Contrib testit epäonnistuvat Clover'ed rakentaa.
• Testit eivät kulje 0,20 haara.
• TestStreamingStatus on epäonnistua 0,20 haara.