Software kuvakaappaus:
Ohjelmiston tiedot:
Versio: 1.3.1 Päivitetty
Lähetyksen päivämäärä: 12 May 15
Kehittäjä: UC Berkeley AMP Lab
Lupa: Vapaa
Suosio: 45
Spark on suunniteltu parantamaan käsittelyä nopeuksilla tietojen analysointia ja manipulointia ohjelmia.
Se oli kirjoitettu Java ja Scala ja tarjoaa ominaisuuksia, joita ei löydy muista järjestelmissä, lähinnä koska he eivät ole valtavirtaa tai että hyötyä kuin tietojenkäsittelyn sovelluksia.
Mikä on uusi tässä julkaisussa:
- ytimen API tukee nyt monitasoista yhdistäminen puiden nopeuttamaan kalliita vähentää toimintaa.
- Parannettu virheiden raportointi on lisätty tiettyihin Sainpas toimintaa.
- Spark n laituri riippuvuus on nyt tummennetut auttaa välttämään ristiriidat käyttäjien ohjelmat.
- Spark tukee nyt SSL-salausta joidenkin viestintää vasteita.
- Realtime GC mittarit ja record määrään on lisätty UI.
Mikä on uusi versiossa 1.3.0:
- ytimen API tukee nyt monitasoista yhdistäminen puiden nopeuttamaan kalliita vähentää toimintaa.
- Parannettu virheiden raportointi on lisätty tiettyihin Sainpas toimintaa.
- Spark n laituri riippuvuus on nyt tummennetut auttaa välttämään ristiriidat käyttäjien ohjelmat.
- Spark tukee nyt SSL-salausta joidenkin viestintää vasteita.
- Realtime GC mittarit ja record määrään on lisätty UI.
Mikä on uusi versiossa 1.2.1:
- PySpark n sort operaattori tukee nyt ulkoisia vuotoja suurille aineistoja .
- PySpark tukee nyt broadcast muuttujia yli 2 Gt ja suorittaa ulkoinen valuu aikana lajittelee.
- Spark lisää työpaikkoja tason edistystä sivun Spark UI, vakaa API edistymisen raportointi ja dynaaminen päivittäminen tuotoksen käyttötiedot työpaikkoja valmis.
- Spark nyt tukee lukemista binääritiedostojen kuville ja muille binary formaatteja.
Mitä uutta versiossa 1.0.0:
- Tämä julkaisu laajentaa Spark standardikirjastot, otetaan käyttöön uusi SQL-paketti (Spark SQL), jonka avulla käyttäjät yhdistää SQL-kyselyjä olemassa oleviin Spark työnkulkuihin.
- MLlib, Spark kone oppimisen kirjasto, laajenee harvaa vektori tukea ja useita uusia algoritmeja.
Mikä on uusi versiossa 0.9.1:
- Kiinteä hash törmäys vian ulkoista vuotoa
- Kiinteät ristiriidassa Spark n log4j käyttäjille enemmän muita hakkuiden backends
- Kiinteät Graphx puuttuu Spark kokoonpano jar vuonna Maven rakentaa
- Kiinteät hiljaa epäonnistumiset johtuvat kartta lähdön tilan ylittää Akka runkokoko
- Poistettu Spark n tarpeetonta suoraa riippuvuutta ASM
- Poistetut mittareita-hermosolmun default rakentaa johtuen LGPL-lisenssin konfliktiin
- Kiinteä vika jakelussa tarrapallon sisältämättömät kipinää kokoonpano jar
Mikä on uusi versiossa 0.8.0:
- Kehitys on muuttanut Apache Sowftware säätiö yrityshautomo hanke.
Mitä uutta versiossa 0.7.3:
- Python suorituskyky: Spark n mekanismi kutu Python VM on parannettu tehdä niin nopeammin JVM on suuri keon kokoa, nopeuttaa Python API.
- Mesos korjaa: JAR- lisätty työsi nyt olemaan classpath kun deserializing tehtävän tuloksia Mesos.
- Virhe raportointi: Parempi virheiden raportointi ei-sarjoittaa poikkeuksia ja liian iso tehtävä tuloksia.
- Esimerkkejä: Lisätty esimerkki tilallista stream käsittely updateStateByKey.
- Build: Spark Streaming ei enää riipu Twitter4J repo, jonka pitäisi mahdollistaa se rakentaa Kiinaan.
- Bug korjauksia foldByKey, streaming count, tilastot menetelmiä, dokumentoinnin ja web UI.
Mikä on uusi versiossa 0.7.2:
- Scala versio päivitetään 2.9.3.
- Useita parannuksia Bagel, mukaan lukien suorituskyvyn korjaukset ja konfiguroitavissa varastointi tasolle.
- Uusi API menetelmiä: subtractByKey, foldByKey, mapWith, filterWith, foreachPartition, ym.
- Uusi mittareita käyttöliittymää, SparkListener, kerätä tietoja kunkin laskenta vaihe: tehtävän pituus, tavut sekoitetaan, jne.
- Useita uusia esimerkkejä Java API, kuten K-keinot ja tietojenkäsittelyn pi.
Mikä on uusi versiossa 0.7.0:
- Spark 0.7 tuo Python API nimeltään PySpark.
- Spark työpaikkaa nyt käynnistää web kojelauta seurantaan muistin käyttö kunkin jaettu aineisto (RDD) ohjelmassa.
- Spark voidaan nyt rakentaa käyttäen Maven lisäksi SBT.
Mikä on uusi versiossa 0.6.1:
- Kiinteät liian aggressiivinen viesti aikakatkaisuja jotka voivat aiheuttaa työntekijöiden katkaista klusterin.
- Kiinteä vika itsenäisessä käyttöönotettava tila, joka ei altista isäntänimien aikataulu, vaikuttavat HDFS paikkakunnalla.
- Parempi yhteys uudelleenkäyttö shuffle, joka voi merkittävästi nopeuttaa vähäisiä shuffles.
- Kiinteät joitakin mahdollisia umpikujia lohkon johtaja.
- Kiinteä vika saada tunnukset epäonnistuneiden koneet Mesos.
- Useita EC2 script parannuksia, kuten parempi käsittely spot tapauksissa.
- Valmistettu paikallisen IP-osoitteen, joka Spark sitoutuu muokattavissa.
- Tuki Hadoop 2 jakaumat.
- Tuki paikallistamiseen Scala Debian-jakeluiden.
Mikä on uusi versiossa 0.6.0:
- Yksinkertaisempi käyttöönottoa.
- Spark ohjeista on laajennettu uudella pikaoppaan, ylimääräisiä käyttöönotto ohjeet, kokoonpano opas, viritys opas, ja parannettu Scaladoc API-dokumentaation.
- uuden tiedonannon johtajan asynkronisen Java NIO avulla shuffle toiminnot toimivat nopeammin, varsinkin kun lähettävät suuria määriä dataa tai kun töitä on monia tehtäviä.
- Uusi Storage Manager tukee per-aineisto varastointi tason asetuksia (esim, haluatko säilyttää aineisto muistissa, deserialized, levylle, jne, tai jopa mallia koko solmuja).
- Parannettu virheenkorjaus.
Kommentteja ei löytynyt