DataCleaner

DataCleaner on avoimen lähdekoodin ja täysin ilmainen ratkaisu organisaatioille ja yrityksille, jotka haluavat lisätä ja mitata laatua tietonsa.
Kanssa DataCleaner, käyttäjät voivat profiilin, vertailla, tietojen todentamiseksi vastaan ​​liiketoiminnan sääntöjä, ja seurata etenemistä näiden mittausten ajan.
Joukossa sen ominaisuuksia, voimme mainita seurantaohjelma, tietojen profilointi ja DQ analyysi, tietojen puhdistus ja rikastamiseen, havaita ja yhdistää päällekkäiset, asiakastietoja laatu sekä erittäin nopea ETLightweight (Extract-Transform-Load).
Saat lisätietoja DataCleaner toiminnot ja ominaisuudet, sekä miten työskennellä sen kanssa, katso http://eobjects.dk/docs

What on uusi tässä julkaisussa :

• Parannuksia ja uusia ominaisuuksia:
• Olemme tehneet mahdolliseksi luoda ja pudota taulukoita kautta työpöydän UI DataCleaner. Huomattakoon, että sana & quot; pöytä & quot; täällä todella kattaa muutakin kuin relaatiotietokannan taulukoiden. Se sisältää myös lakanat MS Excel datastores, kokoelmat MongoDB, Document tyyppejä CouchDB ja ElasticSearch ja niin edelleen ... Periaatteessa kaikki DataStore tyyppejä, jotka tukevat kirjoitus-toiminnan, paitsi yhden pöydän datastores kuten CSV datastores, tue tätä toimintoa! Toiminnallisuus altistuu kautta:
• & quot; Luo pöytä & quot; käytössä kautta hiiren kakkospainiketta skeemojen puussa vasemmalla puolella sovelluksen.
• & quot; Luo pöytä & quot; käytössä myös kautta taulukko-valinta tuloa komponentteja kuten Lisää taulukkoon, taulukko haku ja päivitys pöytä.
• & quot; Drop pöytä & quot; käytössä kautta hiiren kakkospainikkeella valikosta taulukoiden puu vasemmalla puolella sovelluksen.
• Olemme lisänneet (valinnainen) kyky täsmentää oman Salesforce.com verkkopalvelun Endpoint URL. Näin voit käyttää DataCleaner yhteyden sandbox ympäristöissä Salesforce.com kuin hyvin omia vasteita.
• ElasticSearch tukea on parannettava, jotta custom kuvaukset sekä uudelleenkäyttöön ElasticSearch DataStore määritelmät nyt myös etsimiseen ja indeksointi.
• näytteenotto kirjaa ja valikoima mahdollisia kaksoiskappaleita Monista tunnistustoiminto on parannettu, mikä nopeuttaa kokoonpanon koska päätökset harjoituksen aikana ovat edustavampia.
• Monista havaitseminen malli tiedostomuoto on päivitetty joka on poistanut tarvita erillistä "viittaus" tiedosto jotta säästää ohi koulutusta päätöksiä. Yhteensopivuus vanhassa muodossa on säilytetty, mutta käyttäen uutta muotoa tuo monia etuja käyttökokemusta.
• Bugikorjauksia:
• säiettä nälkään ongelma korjattiin vuonna DataCleaner seurata. Vaikutus kysymys oli suuri, mutta se tapahtui vain harvoin ja hyvin räätälöityjä tapauksissa. Jos custom kuuntelija esineitä DataCleaner monitorin heittää virheen, se johtaisi resurssi koskaan vapautettaisiin ja aloittamisesta lanka Quartz-ajoitus allas palvelimelle. Jos tämä tapahtuisi monta kertaa palvelin voisi lopulta loppuu säikeitä että allas.
• Vertical Menu tulokseen näyttö on nyt tekemässä työnsä kunnolla näyttämään etiketeissä komponentteja, jotka ovat tuloksia. Tämä helpottaa tunnistamaan mikä valikkokohta viittaa mitä tulos kohta.

Mikä on uusi versiossa 3.5.7:

• 'synonyymi haku "muutos on nyt vaihtoehto etsiä joka osoituksena panos. Tämä on hyödyllinen, jos teet korvaaminen synonyymejä sisällä arvot pitkä tekstikenttään.
• esto toteuttaminen DataCleaner työpaikkoja näytön verkkopalvelu tähän voi joskus epäonnistua vian aiheuttama esto säiettä. Tämä ongelma on korjattu.
• parannusta tehtiin tavalla työpaikkoja ja sekvenssin komponenttien suljetaan / siivonnut suorittamisen jälkeen.
• JNLP / Java-WebStart versio DataCleaner paljastui vian Java Runtime aiheuttaa tiettyjä JAR-tiedostot eivät tunnista WebStart kantoraketti, tietyissä olosuhteissa. Tämä ongelma on korjattu tekemällä pieniä muutoksia näihin JAR-tiedostot.
• muutama toimimaton linkkejä asiakirjoissa on vahvistettu.

Mikä on uusi versiossa 3.5.4:

• Nyt on mahdollista piilottaa tuotos sarakkeet muunnokset . Piilottaminen ei vaikuta jalostustoiminnan kulkua lainkaan, vaan yksinkertaisesti piilottaa ne käyttöliittymästä, ja siten mahdollisesti tekee kokemusta enemmän puhdas, kun vuorovaikutuksessa muiden komponenttien.
• uusi verkkopalvelu on lisätty valvontaa web-sovellus, joka tarjoaa tavan kyselyn tilan suorittamisen tiettyä työtä.
• bugi on vahvistettu, mikä HTML-raportti epäonnistuu tiettyjä analyysityypeistä kun Merkintöjä ei ollut käsitelty.
• Ja 6 muuta pieni bugi on osoitettu.

Mikä on uusi versiossa 3.5.1:

• Capture muuttunut Records:
• uusi suodatin lisättiin, jotta vähitellen käsittelyyn kirjaa, joita ei ole käsitelty ennen, esimerkiksi profilointiin tai kopiointiin muutettu kirjaa. Uudet suodattimet nimi on Capture muuttunut kirjaa, viitaten muutoksen käsitteestä tiedonkeruun.
• Jonossa suorittamisen työpaikkoja:
• DataCleaner monitori nyt jonoon toteuttamista samaa työtä, jos se laukeaa useita kertoja. Tämä varmistaa, että et vahingossa käytä samaa työtä samanaikaisesti, joka voi johtaa kaikenlaisia ​​asioita, riippuen siitä, mitä työtä tekee.
• Minor bugikorjauksia:
• Useita bugikorjauksia toteutettiin.

Mikä on uusi versiossa 3.5:

• Monet velhot ovat nyt saatavilla rekisteröitymättä datastores; mukaan lukien tiedostojen-upload palvelimelle varten CSV-tiedostoja, tietokantayhteyden merkintä, opastettuja rekisteröinti Salesforce.com valtakirjojen ja enemmän.
• työ Rakennus velhot on myös lisätty useita parannettuja ominaisuuksia; Valinta arvo jakelun ja kuvio löytää kentät Quick analyysi velho, täysin uusi ohjatun luomisen EasyDQ perustuu asiakkaan puhdistus työpaikkoja ja uutta työtä ohjatun ampumisen Pentaho Data Integration työpaikkaa (lue lisää alla).
• Voit nyt ad hoc kyselyn mitään DataStore suoraan web-käyttöliittymän kautta. Tämä on helppo saada nopeasti tai satunnaista oivalluksia tietoja ilman perustaa työpaikkoja tai muita onnistui lähestymistapoja tietojen käsittelyä.
• Kun työpaikkoja tai datastores luodaan, käyttäjä ohjataan ryhtymään toimenpiteisiin hiljattain rakennettu esine. Esimerkiksi, voit nopeasti ajaa työtä oikein, kun se on rakennettu, tai kyselyn DataStore kun se on rekisteröity.
• Ylläpitäjät voivat nyt suoraan ladata työpaikkoja arkistoon, joka on erityisen kätevä, jos haluat käsin muokata XML-sisältöä työtiedostot.
• paljon teknistä cruft on nyt piilossa hyväksi osoittaa yksinkertainen valintaikkunoissa. Esimerkiksi, kun työ käynnistyy suuri lastaus symboli näkyy, ja kun olet valmis tulos näkyy. Edistyksellinen hakkuut näyttö, joka on aiemmin voi vielä näkyviin, kun klikkaamalla linkkiä lisätietoja.

Mikä on uusi versiossa 3.1.2:

• Olemme lisänneet verkkopalvelu seurannassa hakemus saada (luettelo) metrimittoja. Tämä tekee seurantaa vieläkin käyttökelpoinen keskeinen infrastruktuuri komponentti, sillä tapa seurata tietoja (laatu) ja altistaa tulokset kolmannen osapuolen sovelluksia.
• 'taulukkohakua "komponentti on parannettu lisäämällä liittyä semantiikan kuin konfiguroitavissa omaisuutta. Käyttämällä liittyä semantiikka voit muokata, jos haluat haun työskennellä semanttisesti kuin LEFT JOIN tai sisäliitos.
• EasyDQ komponentit on päivitetty, lisäämällä edelleen asetuksia ja rikkaampi deduplication tulos liitäntä.
• Suorituskyky parannukset ovat olleet erityinen painopiste julkaisu. Parannuksia on tehty moottorin DataCleaner edelleen käyttää streaming käsittely lähestymistapa tietyissä nurkassa tapauksissa jota ei ole käsitelty edellä.

Mikä on uusi versiossa 3.1.1:

• liittyvä päivämäärä ja aika analyysi vaihtoehtoja on laajennettu lisäämällä jakelu analysaattorit viikon numerot, kuukausina ja vuosina. Kaikki analysaattorit liittyvät päivämäärä ja kellonaika on nyt ryhmitelty alivalikko nimeltä & quot; päivämäärä ja aika & quot; alle & quot; Analysoi & quot;.
• valinnainen & quot; kuvailevia tilastoja & quot; vaihtoehto on lisätty numero analysaattorin ja päivämäärä / aika analysaattori. Tämä vaihtoehto lisää lisää mittareita tulokset analysaattorit, kuten mediaani, Vinoumien taustalla, prosenttipisteet ja kurtosis. Tämä mittausmenetelmä on valinnainen, koska niiden muisti jalanjälki on hieman suurempi kuin olemassa mittareita.
• linjat aikajanalla kaavioita seurannan web-sovellus on nyt pieniä pisteitä niihin. Tämä on erityisen hyödyllinen kaavioita muutaman (tai jopa vain yksi) havainnot niihin - huomauttaa tarkalleen missä havainto kohdat ovat.
• kyselyn jäsennin vedotessaan ad-hoc kyselyt on myös huomattavasti parannettu. Nyt kyselyt voi sisältää DISTINCT lausekkeita, * -wildcards, alikyselyjä ja ovat vikasietoinen kohti teksti-tapaus kysymyksiä.
• Kaksi uutta muuntajat on lisätty tuottaa UUID ja tuottaa aikaleimojen.

Mikä on uusi versiossa 3.1:

• Metric kaavat - laadittu Tietojen laatu KPI:
• Nyt on mahdollista rakentaa paljon yksityiskohtaisempia Tietojen laatu KPI vuonna DataCleaner seuranta- web-sovellus. Käyttöliittymä avulla voit rakentaa monimutkaisia ​​kaavoja taulukkolaskenta kaltainen kaava tyyliin; muuttujia kerätään DataCleaner työpaikkoja.
• Metric kaavoja voi yhdistää minkä tahansa määrän mittareita, vakioita ja toiminnot, kunhan se voidaan ilmaista matemaattinen yhtälö.
• Esimerkiksi - mittaa kahdentuneet prosentteina koko ennätys määrä. Tai mitata määrä tuotekoodit, jotka vastaavat joukko useita string kuvioita.
• Tilapäinen hakujen - kaikista DataStore:
• Kun DataCleaner 3,1 voit nyt tehdä ad-hoc kyselyt tahansa DataStore! Kyselyt voidaan ilmaista tavallinen SQL ja aletaan soveltaa tietokantoihin sekä tiedostoja, NoSQL tietokantoja ja enemmän, tarjoavat todella hyödyllinen kyselyn mekanismi laajentaa omaan löytö ja tietojen profilointi kokemus.
• kysely vaihtoehto on myös saatavilla verkkopalvelun seurantaan käyttäjille ADMIN rooli. Kysely palvelee HTTP parametri tai POST elin, ja tulos palvelee XHTML pöytä.
• Arvo haussa - uusi analyysi vaihtoehto:
• Usein sinulla yritys idea mitkä arvot olisi sallittava ja odotettavissa tietyllä alalla. Vuonna DataCleaner siellä on aina ollut Arvo Jakauma analyysi vaihtoehto, joka auttaisi sinua puolustamaan oman oletuksia. Vuonna DataCleaner 3.1 kuitenkin, sinulla on tarkempaa tarjoaa - Value haussa. Tämä analyysi vaihtoehto voit määrittää joukon odotusarvot ja suorita arvo jakelu kuten analyysi, erityisesti vahvistaa ja tunnistaa odottamattomat arvot.
• kopioiminen, poistaminen ja hallinta työpaikkoja:
• Johto työpaikkoja ja johtaa DataCleaner monitorin hakemus on parantunut huomattavasti. Voit nyt napsauttamalla työtä ajoitus -sivu näytön, ja löytää hallinta vaihtoehtoja toimintojen, kuten uudelleennimeäminen, kopiointi, poisto ja enemmän. Kunkin operaation kunnioittaa yhteydet muihin artefakteja näytön, kuten analyysitulokset, aikatauluja ja enemmän. Tämä tarkoittaa sitä, että hallinnoinnin seurannan arkiston on tullut paljon helpompaa ja kypsä.
• Hallitse tietojen laadun historia:
• Joskus olet edessään tilanteita, joissa todella haluat tehdä seuranta historiallisia tietoja! Saattaa olla, että sinulla on historiallinen kaadetaan tai varmuuskopioita tietokantojen, jonka haluat näyttää ja kertoa tarinan. Voit nyt tehdä analyysi tämän historiallisen tiedon, lataa se DataCleaner seurata, ja käyttämällä uutta verkkopalvelun, asettaa historiallinen tiedot kyseisen analyysin tulos. Tämä tarkoittaa, että aikataulut ovat oikein tontti tuloksia käyttämällä niiden suunniteltua, mutta tulokset olet kerännyt ehkä myöhemmin ajankohtana.
• Klusteroitu ajastimella tuki (EE vain):
• skeduleri on DataCleaner näytölle on ulkoistettu, niin, että se voidaan korvata avulla yksinkertaisen muodon. Enterprise Edition (EE) ja DataCleaner, tarjoamme klusteroitu aikataulu, joiden avulla voit ladata tasapaino ja jakaa teloitukset poikki klusterin koneita.
• Single-signon (SSO) käyttäen CAS (EE vain):
• Enterprise Edition (EE) ja DataCleaner nyt tarjota yhden signon vaihtoehto näytön sovellus. Nyt DataCleaner voi olla integroitu osa IT-infrastruktuurin, myös turvallisuus-viisas.
• ... Ja paljon muuta:
• Edellä on vain yhteenveto. Yli kolmekymmentä kysymykset on ratkaistu tässä julkaisussa. Olemme ratkaisseet useita pyyntöjä tulevat foorumeilla ja yhteisöä, ja rohkaisemme kaikkia käyttämään tämä media ajoneuvon muutos. Olemme erittäin iloisia voidessamme tehdä kehittämiseen DataCleaner vaikuttavat voimakkaasti virrat yhteisössä.

Mikä on uusi versiossa 3.0.3:

• Lisää palvelu uudelleennimeäminen työpaikkoja seurannassa arkistoon .
• Voit käyttää tätä rauhallista Web-palvelun tai interaktiivisesti UI.
• Verkkopalvelun lisättiin muuttamalla historiallinen päivämäärä analyysin tuloksen seurantaan arkistosta.
• Web-sovellus on tehty yhteensopivia legacy JSF säiliöissä.
• välimuistiin konfiguraatio Web-sovelluksen parani huomattavasti, mikä nopeuttaa sivun latausaika ja työpaikkojen alustus kertaa.

Mikä on uusi versiossa 3.0.2:

• Kun liipaisu työtä seurantaan web-sovellus, paneeli automaattisesti päivittyy joka toinen saada viimeisimmän suorittamisen.
• Tiedosto-pohjainen datastores (kuten CSV tai Excel) absoluuttisella polut ovat nyt oikein ratkaistaan ​​seurantaan web-sovellus.
• & quot; Valitse avain / arvo kartta & quot; muuntaja tukee nyt sisäkkäisiä valitse ilmaisuja kuten & quot; Address.Street & quot; tai & quot; tilausriveihin [0] .product.name & quot;.
• taulukkohakua mekanismi on optimoitu suorituskykyä, käyttämällä valmiita lausuntoja ajettaessa vastaan ​​JDBC tietokantoja.
• Ylläpitäjät voivat nyt ladata tiedosto-pohjainen datastores suoraan & quot; Datastores & quot; sivu.
• Poikkeuskäsittely valvontaan web-sovelluksen on parannettu hieman, jolloin virheilmoituksia tarkempia ja intuitiivinen.