Dapper Dataflow Engine

Software kuvakaappaus:
Dapper Dataflow Engine
Ohjelmiston tiedot:
Versio: 0.98
Lähetyksen päivämäärä: 12 May 15
Kehittäjä: Roy Liu
Lupa: Vapaa
Suosio: 10

Rating: 2.0/5 (Total Votes: 1)

Dapper (Distributed ja Parallel Program Execution Runtime) on työkalu kesyttäminen monimutkaisuutta kehittää laajamittaisia ​​cloud ja grid, jonka avulla käyttäjä voi luoda hajautettuja laskutoimituksia alkaen olennaiseen - koodia, joka EXECUT.INIT
Miksi hienompi?
Elämme mielenkiintoisia aikoja, joissa läpimurtoja tieteissä yhä enemmän riippuvaisia ​​lisääntyvä saatavuus ja runsaasti tuotteistettu, verkottunut laskentaresursseja. Avulla pilvi tai verkkoon, laskelmat, jotka muutoin kestää päivää yhdellä työpöydällä kone on nyt jaettu ja / tai rinnakkaisten muotoiluja, jotka voivat vaihtuvuus läpi, muutamassa tunnissa, panos asetetaan kymmenen kertaa niin suuri on sata koneissa . Niin houkutteleva kuin ajatus voimaa numerot voivat olla, joilla on vain fyysinen laitteisto ei riitä - ohjelmoija on veneen todellinen laskenta, joka ajaa sitä. Näin ollen, korkea arvo asetetaan ihmisten työtä ja luovuutta edellyttää ohjelmointiympäristö, joka mahdollistaa, ja jopa kannustaa, ytimekäs ilmaus hajautetun laskennan, mutta samalla ei uhrata yleisyyden.
Dapper, seisomaan Distributed ja Parallel Program Execution Runtime, on yksi tällainen keino kuroa tiedemies / ohjelmoijan korkean tason tekniset että aistii ohjelman, alhaisen mekanismeja, jotka heijastavat inhottava todellisuus jaetaan ja rinnakkaislaskennan. Sen dataflow lähestymistapaa, Dapper avulla käyttäjät koodia paikallisesti Java ja toteuttaa maailmanlaajuisesti pilven tai verkkoon. Käyttäjä Ensimmäinen kirjoittaa codelets, tai pieni koodinpätkä, joka suorittaa yksinkertaisia ​​tehtäviä ja eivät sinänsä ole täydellinen ohjelma. Jälkeenpäin, hän täsmentää, miten nämä codelets, nähdään pisteiden tietomäärää, lähettävät dataa toisiinsa reunan suhteita. Tuloksena suunnattu asyklinen dataflow graafi on täydellinen ohjelma tulkitsemaan Dapper palvelin, joka, kun on otettu yhteyttä pitkäikäisiä työntekijä asiakkaat voivat koordinoida hajautettu toteutus.
Alle Dapper malli, käyttäjä ei enää tarvitse pelätä perinteisesti ad-hoc näkökohtia hallintaa pilven tai verkkoon, johon kuuluu käsittely tietojen kytkennät ja riippuvuudet, toipumassa virheistä, jakelu koodia, ja alkaa työpaikkoja. Ehkä vielä tärkeämpää, se antaa koko Java-pohjainen työkaluketjun ja runtime kehystys lähes kaikkiin karkeaa jaettu laskutoimituksia yhdenmukaisessa muodossa, joka mahdollistaa nopean käyttöönoton ja helppo luovuttamiseen muille tutkijoille.

Ominaisuudet

  • koodia jakelujärjestelmä, jonka avulla Dapper palvelin lähettää tarvittavat ohjelmakoodia verkon yli ja on asiakkaita dynaamisesti lataa sen. Tästä seuraa, että esto ulkoinen ajettavat, päivitykset Dapper ohjelmat tarvitsevat tapahtua vain server-side.
  • Tehokas subflow embedding menetelmä dynaamisesti muuttamalla tietomäärää kuvaajan suorituksen.
  • runtime vanilja Java, kielellä, jota monet ovat epäilemättä tuntee. Paitsi vaatimuksesta hiljattain JVM ja valinnaisesti GraphViz Dot, Dapper on omavarainen.
  • vankka Control Protocol. Dapper palvelin odottaa rajoittamattoman määrän asiakkaita epäonnistua, milloin tahansa, ja on muokattavissa uudelleen suorituksen ja timeout politiikkaa selviytyä. Näin ollen voidaan käynnistää ja pysäyttää (pitkäikäinen) asiakkaille ilman pelkoa asettavat koko järjestelmän ristiriitaisessa tilassa.
  • Joustava semantiikka, jotka mahdollistavat tiedonsiirron kautta tiedostoja tai TCP virtoja.
  • Yhteentoimivuus palomuureja. Koska paikallinen cloud tai verkkoon luultavasti istuu takana palomuurin, olemme kehittäneet erityisiä semantiikan streaming tiedonsiirtoa.
  • Liberal lisenssiehtoja. Dapper on julkaistu LGPL saastumisen estämiseksi oman codebase.
  • Toiminta upotettuna sovelluksen. Käsikirjassa kuvataan ohjelmointi API, että käyttäjät voivat seurata ajaa Dapper palvelimen sisällä sovellus, kuten Apache Tomcat.
  • Toiminta itsenäisenä käyttöliittymä. Sen voi suorittaa off-the-hylly demoja ja oppia keskeiset käsitteet visuaalisia esimerkkejä. Noudattamalla minimaalinen joukko yleissopimusten, voi sitten niputtaa oman Dapper ohjelmien toteuttamisen arkistot, ja sitten saat reaaliaikaisen tietomäärää aseman ja virheenkorjaus palaute.

Mikä on uusi tässä julkaisussa:

  • ServerLogic # closeIdleClients menetelmää on muutettu vastaamaan paremmin käyttäjän intuitiivinen käsitys toimettomuutta.
  • Käyttäjä vaihtoehto määritellään palvelimen nimeen on lisätty.
  • Verkostoituminen sisäosat on muokattu käyttämään uusia API.
  • rakentaa prosessi on päivitetty tukemaan sekä 32- ja 64-bittinen Windows cross-kokoelma.
  • dapper. * Hierarkia on nimetty uudelleen org.dapper. *.

Mikä on uusi versiossa 0.96:

  • Lisätty FlowListener abstraktio, jotta käyttäjät voivat nyt osakkuusyhtiö metadata jossa dataflows ja niiden solmujen.
  • Fixed muistivuoto Dapper palvelimelle.
  • Lisätty apiviz Doclet tunnisteita niin, että suhteet keskuudessa luokat voidaan paremmin visualisoida.
  • Lisätty apiviz visualisointiin riippuvuuksia Javadoc.
  • Kiinteä pieni bugi BuildAndTest suoritettavaa.
  • rakentaa prosessi on nyt täysin integroitu Apache Ivy. Lähde jakeluverkon nyt enää aluksia SST. Sen sijaan, riippuvuudet ladataan automaattisesti; jos sellaista ei ole, yksi voi ladata SST lähde, kääntää sen ja julkaista paikalliseen arkistoon. Katso käyttöoppaasta lisätietoja.
  • Päivitetty rakentaa prosessi ja poistaa tarpeeton vaiheita.
  • Normalized tekijänoikeus- ja lisenssin ilmoituksia kaikki tiedostot.
  • Java 1.6 on nyt tarvitaan rakentaa ja ajaa.
  • Muuta rakentaa prosessi käyttää Apache Ivy, mikä tarkoittaa sitä, että ulkoiset riippuvuudet ei enää tarvitse pakata SST pääjakeluun.
  • Added 'Doxygen "tavoite rakentaa prosessia niin, että natiivi komponentteja voidaan dokumentoida.

Mikä on uusi versiossa 0.95:

  • uusi, joustava hakkuut infrastruktuuri on lisätty.
  • initializers hakkuiden rakenteita on siirretty pois Server ja Client luokat ja osaksi kuljettajia.
  • Finite tilakoneiden on päivitetty uuteen merkintä-odotuksiin API.
  • lähdekoodi on normalisoitu on 8 tilojen välilehtien sijaan.

Mikä on uusi versiossa 0.94:

  • Komentorivin vaihtoehtoja asiakkaan ja palvelimen on nyt käytettävissä, kohteliaisuus Apache Commons CLI kirjasto.
  • Asiakas prosessi elinkaari on nyt määritelty päättyvän katkaista palvelimelta tapahtuu.
  • Stem sukupolven toiminnallisuus on siirtynyt jäsenyydestä menetelmä OutputHandleResource olemaan staattinen menetelmä CodeletUtilities.
  • FlowNodeFactory luokka käytetään hyväksi suoran ilmentymien FlowNodes.
  • Rakentaminen natiivi komponenttien on siirtynyt CTee.
  • Kirjaus on siirtynyt SLF4J.
  • README on lisätty kaikki jakaumat.

Mikä on uusi versiossa 0.93:

  • Parantunut pedagogisia esimerkkejä.
  • Päivitetty käsikirja.
  • Lisätty kätevää rutiinit dapper.codelet.CodeletUtilities luonnonvarojen istä.
  • Poistettu Generator, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource, ja FileBatchResource. Ne on korvattu käsitteellä abstraktien tietojen kahvat muodossa HandleEdge, InputHandleResource, OutputHandleResource. Katso käyttöohjeesta muutoksiin.
  • Päivitetty dapper.codelet.Resource viedä tulon ja lähdön puroihin.

vaatimukset

  • Java 2 Standard Edition Runtime Environment

Vastaavia ohjelmistoja

Son of Grid Engine
Son of Grid Engine

19 Feb 15

cloudinitd
cloudinitd

11 May 15

JGroups
JGroups

26 Apr 16

Kommentit Dapper Dataflow Engine

Kommentteja ei löytynyt
Lisää kommentti
Ota kuvia!