Apache Kafka

Apache Kafka is soortgelyk aan Scribe enjin Facebook se (as jy vertroud is om dit) en kan gebruik word om aktiwiteit strome hanteer.

Dit werk deur sodat ontwikkelaars om een ​​of meer aktiwiteite strome (of voed) te handhaaf.

Hierdie feeds kan georganiseer word in onderwerpe, en dan uitgesaai (gepubliseer) om alle ingeskryf verbruikers.

Die dele van Kafka dat die feeds te bestuur en te publiseer is produsente genoem.

Kafka is basies die middelste laag tussen die produsente en verbruikers, 'n komplekse stelsel wat enige soort verkeer en versoeke kan hanteer op enige tipe skaal.

Dit is omdat Kafka is gebou op verspreide bediener argitektuur te hanteer, sodat ontwikkelaars om hul Pub / sub-stelsels in die wolke dienste skaal.

Wat is nuut in hierdie uitgawe:.

• 'n nuwe Java produsent vir die gemak van implementering en verbeterde prestasie
• 'Verwyder ondersteun onderwerp.
• Per onderwerp opset van voorkeur vir konsekwentheid oor beskikbaarheid.
• Scala 2,11 ondersteuning en val ondersteuning vir Scala 2,8.
• LZ4 kompressie.

Wat is nuut in die weergawe 0.8.2.1:

• A nuwe Java produsent vir die gemak van implementering en verbeterde prestasie.
• 'Verwyder ondersteun onderwerp.
• Per onderwerp opset van voorkeur vir konsekwentheid oor beskikbaarheid.
• Scala 2,11 ondersteuning en val ondersteuning vir Scala 2,8.
• LZ4 kompressie.

Wat is nuut in die weergawe 0.8.0-beta1:.

• Vaste bestaande perf tools
• Wire bestaande produsent en die verbruiker die nuwe ZK data struktuur te gebruik.
• Skep / ZK pad verwyder vir 'n onderwerp in 'n administrateur hulpmiddel.
• Geïmplementeer 'n geïntegreerde kontroleerder.

Wat is nuut in die weergawe 0.7.1:

• Vermy gedupliseer boodskap tydens verbruiker herbalanseer
• Support instel Stuur / ontvang socket buffer grootte in bediener
• javaapi ZookeeperConsumerConnectorTest duplikate baie toetse in die scala weergawe
• Maak # van die verbruiker te herbalanseer Pogingen instel
• SyncProducer moet gasheer en port teken as kan koppel nie.
• duplikaat boodskappe wat deur die Kafka verbruiker ongecomprimeerd onderwerpe Verminder
• Vermy meld stacktrace direk
• Maak backoff tyd gedurende die verbruiker herbalanseer instel
• Verbeter log4j appender om kafka.producer.Producer gebruik, en ondersteuning zk.connect | broker.list opsies
• Skei uit Kafka mirroring in 'n stand-alone program
• Hadoop produsent moet gebruik sagteware load balancer

Wat is nuut in die weergawe 0.7.0:

• Kafka ondersteun nou blok vlak kompressie. Sien kompressie wiki vir meer besonderhede. Tans is daar net gzip is sup oorgedra.
• Teken behoud kan nou afhang van ruimte (log.retention.size).

Wat is nuut in die weergawe 0.6:

• Vaste Bugs:
• SimpleProducer verloor boodskappe wanneer socket kry 'n io uitsondering
• Indien die produsent stuur 'n ongeldige MessageSet die makelaar sal dit voeg, dryf met die log
• ByteBufferMessageSet logs fout oor haal grootte
• Shutdown Kafka wanneer daar enige skyf IO fout
• Propageer bediener al uitsonderings op verbruikers
• Maak () in SimpleConsumer moet gesinchroniseer
• Consumer Code dokumentasie
• Verbeter Eventhandler in AsyncProducer
• Die dieretuineienaar gebaseer produsent nie verwyder 'n dooie makelaar van sy lys terwyl hy 'n produk versoek
• Consumer logs FOUT tydens naby
• Verbeterings:
• Skoon-up Junit toets
• MessageSet implementeer nie Java iterable
• Default Encoder vir Kafka log4 appender
• uitdruklik noem alle gesprekke
• Refactor openbare API in Java en Scala API
• Verbeter API docs vir alle openbare API
• Verwyder die java FileMessageSet API
• Eenheid toets druip op sommige Linux masjiene
• Skep SBT sub-projekte vir perf, voorbeelde, contrib wat tans gebruik Ant
• Voeg JMX vir die verandering log4j vlak dinamies by Kafka bediener
• opgradeer na Zookeeper 3.3.3
• javaapi MessageSet nie nodig om te implementeer writeTo socket
• Nuwe funksies:
• New produsent API