DataFu

DataFu kehitettiin LinkedIn ja on kirjoitettu kokonaan Javalla.

DataFu sisältää toiminnot / kirjastoja kanssa:

- Tilastot

- Arvio

- Näytteenotto

- Sessions

- Link analyysi

- asetustoiminnoissa

- Laukut

DataFu sopii tiedon louhinta ja tilastosovellusten päällä työskentely Hadoop tai Pig tietokantoihin.

Nämä toiminnot avulla kehittäjät voivat hyödyntää kaikki tallennetut tiedot Hadoop tai sika tietokanta ilman käsitellä valtavia järjestelmävaatimukset voidakseen tehdä niin.

Mikä on uusi tässä julkaisussa:

• pari UDFS varten yksinkertaisella satunnaisotannalla korvausinvestointeihin.
• Lisää riippuvuuksia nyt pakattu DataFu joten vähemmän JAR riippuvuuksia tarvita.
• SetDifference UDF Computing asettaa erotus (esim. A-B tai A-B-C).

Mikä on uusi versiossa 1.2.0:

• pari UDFS varten yksinkertaisella satunnaisotannalla korvausinvestointeihin.
• Lisää riippuvuuksia nyt pakattu DataFu joten vähemmän JAR riippuvuuksia tarvita.
• SetDifference UDF Computing asettaa erotus (esim. A-B tai A-B-C).

Mikä on uusi versiossa 1.1.0:

• Lisätty SHA hash UDF.
• InUDF ja AssertUDF lisätty Pig 0.12 yhteensopivuus. Nämä ovat samat kuin In ja Assert.
• SimpleRandomSample, joka toteuttaa skaalautuva yksinkertaisella satunnaisotannalla algoritmi.