Beaver

Software kuvakaappaus:
Beaver
Ohjelmiston tiedot:
Versio: 24
Lähetyksen päivämäärä: 20 Feb 15
Kehittäjä: Jose Diaz-Gonzalez
Lupa: Vapaa
Suosio: 3

Rating: 3.0/5 (Total Votes: 2)

Beaver on Python daemon joka munches lokit ja lähettää niiden sisältöä logstash.
Asennus
Käyttäminen PIP:
Alkaen Github:
Pip asentaa git + Git: //github.com/josegonzalez/beaver.git#egg=beaver
Alkaen PyPI:
Pip asentaa majava == 1
Käyttö
Käyttö:
majava [-h] [-r {työntekijä, interaktiivinen}] [-m {sitoa, yhdistää}] [-p PATH]
& Nbsp; [- F-tiedostoja [tiedostot ...]] [-t LIIKENNE]
valinnaiset argumentit:
-h, --help näytä tämä ohje ja poistu
-r {työntekijä, interaktiivinen} --run {työntekijä, interaktiivinen}
& Nbsp; ajaa työntekijän tai vuorovaikutteinen tila
-m {sitoa, yhdistää} --mode {sitoa, yhdistää}
& Nbsp; sitoa tai liittää tilassa
-p PATH, --path Path Lokitiedostoihin
-f FILES [tiedostot ...], --files FILES [tiedostot ...]
& Nbsp; eroteltuja Filelist katsomaan. Ohitukset --path
& Nbsp; argumentti
-t {amqp, redis, stdout} --transport {amqp, redis, stdout}
& Nbsp; log liikenne menetelmä
Taustaa
Beaver tarjoaa kevyt menetelmä toimitus paikallista lokitiedostoja Logstash. Se tekee tämän käyttämällä joko redis, vakiosyötteen, zeromq kuin liikenne. Tämä tarkoittaa sitä, sinun redis, vakiosyötteen, zeromq tulo jonnekin tiellä saada tapahtumiin.
Tapahtumat lähetetään logstash n json_event muodossa. Valinnat voidaan myös asettaa ympäristömuuttujien.
Esimerkkejä
Esimerkki 1: Kuuntele kaikki tiedostot oletuspolkuna / var / log vakio ulos:
majava
Esimerkki 2: Lähetetään lokit / var / log tiedostot redis lista:
REDIS_URL = "redis: // localhost: 6379/0" majava -t redis
Esimerkki 3: Käytä ympäristö muuttujat lähettää lokit / var / log tiedostot redis lista:
REDIS_URL = "redis: // localhost: 6379/0" BEAVER_PATH = "/ var / log" BEAVER_TRANSPORT = redis majava
Esimerkki 4: Zeromq kuuntelee porttia 5556 (kaikki liitännät):
ZEROMQ_ADDRESS = "tcp: // *: 5556" majava -m sitoa
# Logstash config:
input {zeromq {
& Nbsp; type => 'lähettäjän-input "
& Nbsp; mode => 'asiakas'
& Nbsp; topologia => 'pushpull "
& Nbsp; osoite => 'tcp: // shipperhost: 5556 "
& Nbsp;}}
lähtö {stdout {debug => true}}
Esimerkki 5: Zeromq yhteyden kauko-porttiin 5556 annetun indeksointitoiminnolle:
ZEROMQ_ADDRESS = "tcp: // indeksointitoiminnon: 5556" majava -m yhteyden
# Logstash config:
input {zeromq {
& Nbsp; type => 'lähettäjän-input "
& Nbsp; mode => 'palvelin'
& Nbsp; topologia => 'pushpull "
& Nbsp; osoite => 'tcp: // *: 5556 "
& Nbsp;}}
lähtö {stdout {debug => true}}

Mitä uutta tässä julkaisussa:

  • Varmista, uusia tiedostoja lisätään kuljettaa kokoonpano. Sulkee # 96. Sulkee # 101. [Jose Diaz-Gonzalez]
  • Salli float numerot update_file_mapping_time. [Jose Diaz-Gonzalez]
  • Korjaa virheellinen valu boolean arvoja. [Jose Diaz-Gonzalez]
  • Suorita kaikki tulosta config.py. Sulkee # 99. [Jose Diaz-Gonzalez]

Mitä uutta versiossa 16:

  • Määritä max jonokoko 100 rajoittaa ylityksellä muistiin. [Jose Diaz-Gonzalez]
  • Käytä moniprosessointi käsittelyyn suurempia jonossa kokoja. [Jose Diaz- Gonzalez]
  • Aikaisemmin oli asioita, joissa tiedostoja, jotka päivitetään säännöllisesti kuten lakka tai lokien olisi hukuttaa naiivi täytäntöönpanoa file.readlines () sisällä Beaver. Tämä aiheuttaisi Beaver hitaasti lukea suurempia ja suurempia osia tiedosto ennen käsittelyä tahansa riviä, lopulta aiheuttaen Beaver ryhtyä ikuisesti käsitellä lokin linjat.
  • Tämä korjaustiedosto lisää mahdollisuuden käyttää sisäistä työjonoon log linjat. Aina file.readlines () kutsutaan, rivit sijoitetaan jonoon, joka on jaettu lapsi prosessi. Lapsen prosessi luo omaa kuljetuskalustoa, jotta voimme mahdollisesti luoda prosessi Pool tulevaisuudessa käsitellä suuremman jonokoon.
  • Huomaa, että rajoitus file.readlines () käsittely liian monta riviä on edelleen olemassa, ja se voi jatkaa aiheuttaa ongelmia tietyille lokitiedostoja.
  • Lisää oletusarvoisesti redis_password kohteeseen BeaverConfig luokkaan. [Jose Diaz-Gonzalez]
  • Korjaa puuttuu alaviiva aiheutetaan rikkoa. [Norman Joyner]
  • Toteuta redis auth tukea. [Norman Joyner]
  • Lisää majava init script daemonization tilassa. [Jose Diaz-Gonzalez]
  • Käytä python metsuri käytettäessä StdoutTransport. [Jose Diaz-Gonzalez]
  • Lisää lyhyt arg lippujen hostname ja muotoa. [Jose Diaz-Gonzalez]
  • Lisää kyky irroitautua. Sulkee # 79. [Jose Diaz-Gonzalez]
  • kulkemaan metsuri esimerkiksi kaikille kuljetukset. [Jose Diaz-Gonzalez]
  • Palauta & quot; Lisätty kevyt Tapahtuman luokka & quot; [Jose Diaz-Gonzalez]
  • keskusteltuaan majava on tarkoitus olla & quot; kevyt & quot ;. Lets jättää raskas syönti on isot pojat.
  • Tämä palautuu sitoutua 1619d33ef4803c3fe910cf4ff197d0dd0039d2eb.
  • Lisätty kevyt Tapahtuman luokka. [Jose Diaz-Gonzalez]
  • Tämä luokka vastaa yksin on käsittelyä tietyn linjan tapahtuma. On tulevaisuuden tavoitteena on toimia kevyt täytäntöönpanoa suodatusjärjestelmä sisällä Logstash
  • Poista argparse vaatimus python 2.7 ja edellä. [Jose Diaz- Gonzalez]

Mitä uutta versiossa 13:

  • Kiinteät tiettyjä ympäristömuuttujat. [Jose Diaz-Gonzalez]
  • SSH Tunnel tuki. [Jose Diaz-Gonzalez]
  • Tämä koodi tulee antaa meille mahdollisuuden luoda ssh tunnelin kahden erillisen palvelinten varten lähettää ja vastaanottaa tietoa.
  • Tämä on hyödyllistä tietyissä tapauksissa, joissa täytyisi muuten listauksesta oman palomuurin tai iptables setup, kuten ajettaessa kahdella eri alueiden AWS.
  • Salli perusliittymän viiveellä. Hyödyllisiä kun odottaa SSH välityspalvelimen. [Jose Diaz-Gonzalez]
  • Korjaa ongelma, jossa tietyt config laiminlyönnit olivat väärästä arvosta. [Jose Diaz-Gonzalez]
  • Salli määrittämällä isännän kautta lippu. Sulkee # 70. [Jose Diaz-Gonzalez]

Vaatimukset :

  • Python

Kommentit Beaver

Kommentteja ei löytynyt
Lisää kommentti
Ota kuvia!