Apache Kafka

Apache Kafka on samanlainen Facebookin Scribe moottori (jos olet tuttu sitä) ja sitä voidaan käyttää käsittelemään toimintaan virtoja.

Se toimii avulla kehittäjät voivat ylläpitää yhtä tai useampaa aktiivisuutta virtoja (tai rehut).

Nämä lähteet voidaan järjestää aiheista, ja sitten lähettää (julkaistu) kaikille merkittiin kuluttajille.

osat Kafkan että hallita ja julkaista syötteet kutsutaan tuottajille.

Kafka on pohjimmiltaan keskimmäinen kerros välillä tuottajien ja kuluttajien monimutkainen järjestelmä, joka pystyy käsittelemään kaikenlaista liikennettä ja pyynnöt millekään mittakaavassa.

Tämä johtuu Kafka rakennettiin käsittelemään jaetaan palvelinarkkitehtuureista, avulla kehittäjät voivat skaalata niiden Pubi / sub järjestelmät pilvipalveluihin.

Mikä on uusi tämä julkaisu:

• uusi Java tuottaja toteutuksen helpottamiseksi ja parantunut suorituskyky.
• Poista aihe tukea.
• per aihe kokoonpano parempana johdonmukaisuuden yli saatavuus.
• Scala 2.11 tuki ja pudottamalla tukea Scala 2.8.
• LZ4 puristus.

Mikä on uusi versiossa 0.8.2.1:

• A uusia Java tuottaja toteutuksen helpottamiseksi ja tehostetun suorituskyky.
• Poista aihe tukea.
• per aihe kokoonpano parempana johdonmukaisuuden yli saatavuus.
• Scala 2.11 tuki ja pudottamalla tukea Scala 2.8.
• LZ4 puristus.

Mikä on uusi version 0.8.0-beta1:

• Kiinteät nykyisiä teho työkaluja.
• Wire nykyisten tuottaja ja kuluttaja käyttää uutta ZK tietojen rakenne.
• Luo / poista ZK polku aihe admin työkalu.
• Toteutetaan upotettu säädin.

Mikä on uusi versiossa 0.7.1:

• vältetään päällekkäiset viesti kuluttajille suunnattuihin tasapainotuksen
• Tuki konfiguroitavissa lähettää / vastaanottaa pistorasia puskurin koko palvelin
• javaapi ZookeeperConsumerConnectorTest toistetaan monet testit Scala versio
• Tee # kuluttajien tasapainotuksen yrittää uudelleen konfiguroitavissa
• SyncProducer kirjaudu isäntä ja portti, jos ei voi muodostaa.
• Vähennä päällekkäisiä viestejä palvelee Kafka kuluttaja pakkaamatonta aiheista
• Vältä hakkuut stacktrace suoraan
• Tee backoff aikana kuluttaja tasapainotuksen konfiguroitavissa
• Paranna log4j appender käyttää kafka.producer.Producer, ja tukea zk.connect | broker.list vaihtoehtoja
• erottaa Kafka peilaus tulee itsenäinen sovellus
• Hadoop tuottajan pitäisi käyttää ohjelmistoa kuormantasaajana

Mikä on uusi versiossa 0.7.0:

• Kafka tukee nyt lohko tasokompressio. Katso pakkaus wiki lisätietoja. Tällä hetkellä vain gzip on puolsi.
• Kirjaudu säilyttäminen voi nyt riippua tila (log.retention.size).

Mikä on uusi versiossa 0.6:

• Kiinteä Bugs:
• SimpleProducer menettää viestejä, kun pistorasia saa IO poikkeus
• Jos tuottaja lähettää kelpaa MessageSet välittäjä liittää sen, turmelee log
• ByteBufferMessageSet kirjautuu virhe hausta koko
• Sammuta Kafka kun on olemassa jokin levy IO virhe
• Etenevät palvelin kaikkia poikkeuksia kuluttajille
• lähellä () vuonna SimpleConsumer olisi synkronoitu
• Viihde koodi asiakirjat
• Paranna EventHandler vuonna AsyncProducer
• Zookeeper perustuu Tuottaja ei poista kuollut välittäjä sen luettelosta palvellessaan tuottaa pyyntö
• Viihde lokit VIRHE aikana lähellä
• parannukset:
• puhdistusmenetelmät JUnit testi
• MessageSet ei toteuta Java iterable
• Oletus Encoder Kafka LOG4 appender
• Erikseen nimetä kaikki viestiketjut
• Refactor julkisen API java ja Scala API
• Paranna API dokumentaatio kaikkien julkisten API
• Poista java FileMessageSet API
• Yksikkö testi epäonnistua joissakin Linux koneissa
• Luo SBT osa hankkeita teho, esimerkkejä, contrib- että tällä hetkellä käytössä Ant
• Lisää JMX muuttaa log4j tasolla dynaamisesti Kafka palvelin
• Päivitä zookeeper 3.3.3
• javaapi MessageSet ei tarvitse toteuttaa writeTo socket
• Uudet ominaisuudet:
• Uusi tuottaja API