DataCleaner

DataCleaner on avoimen lähdekoodin ja täysin ilmainen ratkaisu organisaatioille ja yrityksille, jotka haluavat kasvattaa ja mitata laatua tietonsa.

DataCleaner, käyttäjät voivat profiloida, vertailla, tietojen todentamiseksi vastaan ​​liiketoiminnan sääntöjä, ja valvoa etenemistä näiden mittausten ajan.

keskuudessa sen ominaisuudet, voidaan mainita tietojen seuranta, tietojen profiloinnin ja DQ analyysi, tietojen puhdistus ja rikastamiseen, havaita ja yhdistää päällekkäiset, asiakkaan tietojen laadun, sekä erittäin nopea ETLightweight (Extract-Transform-Load).

Lisätietoja DataCleaner toiminnot ja ominaisuudet, sekä miten työskennellä sen kanssa, katso http://eobjects.dk/docs

What on uusi tässä julkaisussa:

• parannuksia ja uusia ominaisuuksia:
• Olemme tehneet mahdolliseksi luoda ja pudota taulukoita kautta työpöydän UI DataCleaner. Huomattakoon, että sana & quot; pöytä & quot; täällä hetkellä kattaa enemmän kuin vain relaatiotietokantaan taulukoita. Se sisältää myös Sheets MS Excel datastores, kokoelmat MongoDB, Document tyyppejä CouchDB ja ElasticSearch ja niin edelleen ... Periaatteessa kaikki tietosäilövirhe tyyppejä, jotka tukevat kirjoitus-toiminnan paitsi yhden pöydän datastores kuten CSV datastores, tue tätä toimintoa! Toiminnallisuus on altistunut kautta:
• & quot; Luo taulukko & quot; portin kautta oikealla hiirennapilla skeemojen puussa vasemmalla puolella sovelluksen.
• & quot; Luo taulukko & quot; käytössä myös kautta taulukko-valinta tuloa komponenttien kuten Lisää taulukkoon, taulukko haku ja päivitys pöytä.
• & quot; Drop taulukko & quot; portin kautta oikealla hiirennapilla taulukoiden puun vasemmalla puolella sovelluksen.
• Olemme lisänneet (vapaaehtoinen) kyky eritellään oman Salesforce.com verkkopalvelun Endpoint URL. Näin voit käyttää DataCleaner yhteyden sandbox ympäristöihin Salesforce.com kuin hyvin omia päätepisteisiin.
• ElasticSearch tukea on parannettava, jotta mukautetun kuvaukset sekä uudelleenkäyttötarkoituksiin ElasticSearch -tietokannassa määritelmät nyt myös etsimiseen ja indeksointi.
• Näytteenotto kirjaa ja valikoima mahdollisia kaksoiskappaleita Monista tunnistustoiminto on parannettu, mikä nopeuttaa kokoonpanon koska tehdyt päätökset harjoituksen aikana ovat edustavia.
• Monista havaitseminen malli tiedostomuoto on päivitetty joka on poistanut tarvita erillistä "viittaus" tiedosto jotta säästää ohi koulutusta päätöksiä. Yhteensopivuus vanhassa muodossa on säilytetty, mutta käyttämällä uutta muotoa tuo monia etuja käyttäjäkokemusta.
• Bugikorjauksia:
• Kierre nälkään ongelma korjattiin vuonna DataCleaner monitorissa. Vaikutus kysymys oli suuri, mutta se tapahtui vain harvoin ja hyvin räätälöityjä tapauksissa. Jos mukautettu kuuntelija esineitä DataCleaner monitorin heittää virheen, se johtaisi resurssi koskaan vapautettaisiin ja aloittamisesta lanka Quartz-ajoitus allas palvelimelle. Jos tämä tapahtuisi monta kertaa palvelin voisi lopulta loppuu lankojen että allas.
• pystysuora valikosta tulosnäyttöä tekee nyt työnsä kunnolla näyttämään etikettien komponenttien, jotka ovat tuloksia. Tämä helpottaa tunnistaa mihin valikkokohdan pistettä, mikä tuloksen kohde.

Mikä on uusi versiossa 3.5.5:

• "synonyymi haku" muutos on nyt mahdollisuus etsiä joka merkiksi tulo. Tämä on hyödyllistä, jos teet korvaaminen synonyymejä sisällä arvoja pitkä tekstikenttään.
• Esto suorittamisesta DataCleaner työpaikkoja monitorin verkkopalvelu tähän voi joskus epäonnistua bugi aiheuttama esto säiettä. Tämä ongelma on korjattu.
• Parannus tehtiin tavalla työpaikkojen ja sekvenssin komponenttien suljetaan / siivonnut suorituksen jälkeen.
• JNLP / Java WebStart versio DataCleaner paljastettiin vian Java Runtime aiheuttaa tiettyjä JAR-tiedostot eivät tunnista sitä WebStart kantoraketti, tietyissä olosuhteissa. Tämä ongelma on korjattu tekemällä pieniä muutoksia näihin JAR-tiedostot.
• Muutamia kuolleita linkkejä asiakirjoissa on vahvistettu.

Mikä on uusi versiossa 3.5.4:

• Nyt on mahdollista piilottaa lähtö sarakkeita muunnokset . Piilottaminen ei vaikuta käsittelyä virtausta lainkaan, vaan yksinkertaisesti piilottaa ne käyttöliittymästä, ja siten mahdollisesti tekee kokemuksesta puhdas, kun vuorovaikutuksessa muiden komponenttien.
• Uusi verkkopalvelu on lisätty valvontaa web-sovellus, joka tarjoaa tavan kyselyn tilan suorittamisen tietyn työn.
• Bug on vahvistettu, mikä HTML raportin epäonnistua tiettyjen analyysityypeistä kun ei kirjaa oli käsitelty.
• Ja 6 muita pieniä vika on osoitettu.

Mikä on uusi versiossa 3.5.1:

• Capture muuttuneet tietueet:
• uusi suodatin lisättiin mahdollistaa vähitellen käsittely kirjaa, joita ei ole käsitelty ennen, esim. profilointiin tai kopiointiin muutettu kirjaa. Uudet suodattimet nimi on Capture muuttunut kirjaa, viitaten käsitteeseen Change tiedonkeruun.
• Jonossa suorittamisen työpaikkojen:
• DataCleaner monitori nyt jonoon suorittamisesta samaa työtä, jos se laukeaa useita kertoja. Näin varmistetaan, että et vahingossa käytä samaa työtä samanaikaisesti, mikä voi johtaa kaikenlaisia ​​asioita, riippuen siitä mitä työ tekee.
• Minor bugikorjauksia:
• Useita bugikorjauksia toteutettiin.

Mikä on uusi versiossa 3.5:

• Useita velhot ovat nyt saatavilla rekisteröitymättä datastores; kuten tiedostojen lataaminen palvelimelle varten CSV-tiedostoja, tietokantayhteyden merkintä, opastettu rekisteröinti Salesforce.com tunnistetietoja ja enemmän.
• Työ rakentaminen ohjattuja on myös lisätty useita parannettuja ominaisuuksia; Valinta arvo jakelun ja kuvio löytää kentät pika-analyysi ohjatun täysin uuden ohjatun luomisen EasyDQ perustuu asiakkaan puhdistus työpaikkojen ja uuden työn ohjatun ampumisen Pentaho Data Integration työpaikat (lue lisää alla).
• Voit nyt ad-hoc kyselyn mitään tietosäilövirhe suoraan web-käyttöliittymän kautta. Tämä on helppo saada nopeasti tai satunnaista oivalluksia datan perustamatta työpaikkaa tai muuta onnistunut lähestymistapoja tietojen käsittelyä.
• Kun työt tai datastores luodaan, käyttäjä ohjataan ryhtyä toimiin hiljattain rakennettu esine. Esimerkiksi voit nopeasti ajaa työtä oikein, kun se on rakennettu, tai kysely tietosäilövirhe kun se on rekisteröity.
• Ylläpitäjät voivat nyt suoraan ladata töitä arkistoon, mikä on erityisen kätevää, jos haluat käsin muokata XML sisältöä työtiedostot.
• Paljon teknisen cruft on nyt piilossa hyväksi osoittaa yksinkertainen valintaikkunoissa. Esimerkiksi kun työ käynnistyy suuri lastaus symboli näkyy, ja kun olet valmis tulos näkyy. Kehittynyt hakkuut näyttö, joka oli aiemmin siellä voidaan edelleen näkyvissä, kun klikkaamalla linkkiä lisätietoja.

Mikä on uusi versiossa 3.1.2:

• Olemme lisänneet verkkopalvelu seurannassa hakemus saada (luettelo) arvot. Tämä tekee seurantaa vieläkin käyttökelpoinen keskeinen infrastruktuuri komponentti, keinona seurata tietojen (laatu) ja altistaa tulokset kolmannen osapuolen sovelluksia.
• "Table haku" komponentti on parannettu lisäämällä liittyä semantiikan konfiguroitavissa ominaisuus. Käyttämällä liittyä semantiikkaa voit muokata, jos haluat lookup työskennellä semanttisesti kuin LEFT JOIN tai sisäliitos.
• EasyDQ komponentit on päivitetty, lisäsi uusia asetuksia ja rikkaampi deduplication tulosta rajapinta.
• Suorituskyky parannukset ovat olleet tietyn keskittyä tämän vapautumisen. Parannuksia on tehty moottorin DataCleaner edelleen käyttää streaming jalostuksen menettelyä tietyissä kulmassa tapauksissa jota ei ole käsitelty edellä.

Mikä on uusi versiossa 3.1.1:

• liittyvä päivämäärä ja aika analyysi optiot on laajennettu lisäämällä jakelu analysaattorit viikon numerot, kuukausina ja vuosina. Kaikki analysaattorit liittyvät päivämäärä ja aika on nyt koottu sisällä alivalikko nimeltä & quot; päivämäärä ja kellonaika & quot; alle & quot; Analysoi & quot;.
• Valinnainen & quot; kuvailevia tilastoja & quot; vaihtoehto on lisätty numero analysaattorin ja päivämäärä / aika analysaattori. Tämä vaihtoehto lisää ylimääräisiä mittareita tuloksiin näiden analysaattorit, kuten mediaani, Vinoumien taustalla, persentiilit ja Kurtosis. Nämä mittarit ovat valinnaisia, koska niiden muisti jalanjälki on hieman suurempi kuin olemassa mittareita.
• Viivat aikajanalla kaavioita seurannan web-sovellus on nyt pieniä pisteitä niihin. Tämä on erityisen hyödyllinen kaavioita muutaman (tai jopa vain yksi) havainnot niihin - huomauttaa tarkalleen missä havainto kohdat ovat.
• Kyselyn parseri vetoavan ad-hoc kyselyt on myös huomattavasti parannettu. Nyt kyselyt voivat sisältää DISTINCT lausekkeita, * -wildcards, alikyselyjä ja ovat vikasietoinen kohti text-tapauksessa kysymyksiä.
• Kaksi uutta muuntajat on lisätty tuottaa UUID ja tuottaa aikaleimojen.

Mikä on uusi versiossa 3.1:

• Metric kaavat - laaditaan Data Quality KPI:
• Nyt on mahdollista rakentaa paljon kehittää Data Quality tehokkuusindikaattorit DataCleaner seuranta- web-sovellus. Käyttöliittymä mahdollistaa rakentaa monimutkaisia ​​kaavoja taulukkolaskenta kaltainen kaava tyyli; muuttujia keräämiä DataCleaner työt.
• Metric kaavat voi yhdistää minkä tahansa määrän mittareita, vakioita ja toiminnot, kunhan se voidaan ilmaista matemaattinen yhtälö.
• Esimerkiksi - mittaa kahdentuneet prosentteina kokonaismäärästä ennätys määrä. Tai mitata määrä tuotekoodit jotka vastaavat joukko usean string kuvioita.
• Ad-hoc-hakujen - minkään tietosäilövirhe:
• Kun DataCleaner 3.1 voit nyt tehdä ad-hoc kyselyjä mitään tietosäilövirhe! Kyselyt voidaan ilmaista tavallinen SQL ja aletaan soveltaa tietokantoihin sekä tiedostoja, NoSQL tietokannat ja enemmän, joka tarjoaa todella hyödyllisiä kyselyn mekanismi ulottuvat tutustuttaessa ja tietojen profilointi kokemus.
• Kyselyn vaihtoehto on myös saatavilla kautta verkkopalvelua seurantaan käyttäjille ADMIN rooli. Kysely palvelee HTTP parametri tai POST elin, ja tulos palvelee XHTML pöytä.
• Value haussa - uusi analyysi vaihtoehto:
• Usein olet yrityksen idea mitkä arvot olisi sallittava ja odottaa tietyn kentän. Vuonna DataCleaner siellä on aina ollut Arvo Jakauma analyysi vaihtoehto, joka auttaisi sinua puolustaa oletukset. Vuonna DataCleaner 3.1 kuitenkin, sinun on tarkempi tarjonta - Arvon haussa. Tämä analyysi vaihtoehto voit määrittää joukon odotusarvot ja suorita arvo jakelu kuten analyysi, erityisesti vahvistaa ja tunnistaa odottamattomia arvoja.
• Kopiointi, poistaminen ja hallinta työpaikkojen:
• Management työpaikkojen ja tuloksia DataCleaner monitori hakemus on parantunut huomattavasti. Voit nyt napsauttaa työpaikkaa ajoitus -sivu näytön, ja löytää hallinta vaihtoehtoja toimintojen, kuten uudelleennimeäminen, kopiointi, poisto ja enemmän. Jokainen toiminta kunnioittaa yhteydet muihin artefakteja näytön, kuten analyysitulokset, aikatauluja ja enemmän. Tämä tarkoittaa sitä, että johto seuranta- arkistoon on tullut paljon helpompaa ja kypsiä.
• Hallitse tietojen laatu historia:
• Joskus olet edessään tilanteita, joissa todella haluat tehdä seurannan historiallinen data! Saattaa olla, että teillä on historiallinen kaatopaikoille tai varmuuskopioita tietokantojen, jonka haluat näyttää ja kertoa tarinan. Nyt voit tehdä analyysin tämän historiallisen datan, lataa se DataCleaner monitorin ja käyttämällä uutta verkkopalvelun, asettaa historiallinen data on kyseisen analyysin tulos. Tämä tarkoittaa, että aikataulut ovat oikein juoni tuloksia käyttämällä niiden suunniteltua, mutta tulokset, jotka olet kerännyt ehkä myöhemmin ajankohtana.
• Klusteroitu ajastimella tuki (EE only):
• aikataulusuunnittelija DataCleaner näytölle on ulkoistettu, niin että se voidaan korvata yksinkertaisin kokoonpano. Enterprise Edition (EE) on DataCleaner tarjoamme ryvästettyä aikataulu, joka tarjoaa mahdollisuuden ladata tasapaino ja jakaa teloitukset poikki klusterin koneiden.
• Single-signon (SSO) avulla CAS (EE only):
• Enterprise Edition (EE) on DataCleaner voimme nyt tarjota yhden signon vaihtoehto näytön sovelluksen. Nyt DataCleaner voi olla integroitu osa IT-infrastruktuurin, myös turvallisuus-viisas.
• ... Ja paljon enemmän:
• Edellä on vain yhteenveto. Yli kolmekymmentä kysymykset on ratkaistu tässä julkaisussa. Olemme ratkaisseet useita pyyntöjä tulevat foorumeilla ja yhteisöä, ja rohkaisemme jokaiselle käyttää tätä keskipitkän keinona muutosta. Olemme erittäin tyytyväisiä kehittämisestä tehdään DataCleaner vaikuttavat voimakkaasti purojen yhteisössä.

Mikä on uusi versiossa 3.0.3:

• Lisää palvelu uudelleennimeäminen työpaikkojen seurannassa arkistossa .
• Voit käyttää tätä rauhallista Web-palvelun tai interaktiivisesti UI.
• Web palvelu lisättiin muuttamiseksi historiallinen päivä analyysin tuloksen seurantaan arkistosta.
• Web-sovellus on tehty yhteensopivia legacy JSF kontteja.
• välimuistiin konfiguraatio Web hakemuksen parantunut huomattavasti, mikä nopeuttaa sivun latausaika ja työn alustus kertaa.

Mikä on uusi versiossa 3.0.2:

• Kun liipaisu työtä seurannan web-sovellus, paneelin automaattinen päivittyy joka toinen saada viimeisimmän suorituksen.
• Tiedosto-pohjainen datastores (kuten CSV tai Excel) absoluuttisella polut ovat nyt oikein ratkaistu valvontaan web-sovellus.
• & quot; Valitse avain / arvo kartta & quot; muuntaja tukee nyt sisäkkäisiä valitse ilmaisuja kuten & quot; Address.Street & quot; tai & quot; tilausriveihin [0] .product.name & quot;.
• taulukkohakuja mekanismi on optimoitu käyttäen valmiita lausuntoja ajettaessa vastaan ​​JDBC tietokantoja.
• Ylläpitäjät voivat nyt ladata tiedostopohjainen datastores suoraan & quot; Datastores & quot; sivu.
• Poikkeuskäsittely valvontaan web-sovelluksen on parannettu hieman, jolloin virheilmoituksia tarkempia ja intuitiivinen.

Mikä on uusi versiossa 3.0.1:

• Ensisijainen vikakorjaus tässä julkaisussa oli palauttaa kartoitus pylväät ja erityisten numeroituvia luokittelua. Esimerkiksi uudessa Täydellisyys analysaattori, huomasimme, että kun lataamalla tallennetun työn, kartoitusta ei ole aina oikea.
• Lisäksi muutamia sisäisiä parannuksia on tehty, mikä helpottaa asentaa DataCleaner näyttö web-sovelluksen ympäristöissä käyttäen Spring Framework.
• Viimeisenä mutta ei vähäisimpänä, visualisointi asetukset työpöydän sovellus on parannettu automaattisesti vilkaisemalla työn visualisoidaan ja toggling näytetään esineitä perustuu näytön koon ja määrän yksityiskohtia, joista käy sen kauniisti.

Mikä on uusi versiossa 3.0:

• näyttö aikajanan ja suuntausten tietojen laadun mittareita
• Keskitetty tietovaraston hallintaan ja sisältävien työpaikkojen, tulokset, aikataulut jne.
• Ajoitus ja tilintarkastus DataCleaner työpaikkojen
• tarjoaminen verkkopalvelut vetoamisen DataCleaner muunnoksia
• Turvallisuus ja multi-vuokrasuhteen
• Hälytykset ja ilmoitukset kun tietojen laatumittoja ovat poissa arvioitu mukavuutta alueilla.
• On uusi Completeness analysaattori, joka on erittäin hyödyllinen yksinkertaisesti tunnistaa kirjaa, jotka ovat epätäydellisiä kenttiä.
• Voit nyt viedä DataCleaner tulokset hauskannäköinen HTML kertoo, että voit antaa esimiehellesi, tai lähettää oman XML!
• Uusi seuranta ympäristö on myös kytköksissä työpöydän sovelluksen. Niinpä työpöydän sovellus on nyt mahdollisuus julkaista työpaikkoja ja tulokset monitoriin arkistoon, ja käytettäväksi interaktiivinen editori sisällön jo arkistossa.
• Uusi päivämäärä suuntautunut muunnokset ovat nyt saatavilla: ajanjaksosuodatin, jonka avulla voit alijoukkoa aineistoja perustuu ajanjaksot, ja muoto päivämäärä, jonka avulla voidaan muotoilla päivämäärä käyttämällä päivämäärä maskia.
• Regex Parser (joka oli aiemmin saatavilla vain kautta ExtensionSwap) on nyt sisällytetty DataCleaner. Tämän vuoksi on erittäin kätevä jäsentää ja standardoida RTF kentät käyttäen säännöllisiä lausekkeita.
• Siellä on uusi teksti tapauksessa muuntaja käytettävissä. Tämän muutoksen voit helposti muuntaa isoja / pieniä kirjaimia ja asianmukainen arvo lauseita ja sanoja.
• Kaksi uutta haku / korvaa muunnoksia on lisätty: Plain haku / korvaa ja Regex haku / korvaa.
• käyttäjäkokemusta työpöydän sovellus on parannettu. Olemme lisänneet useita in-sovellus ohjeviestit, tehty värit näyttävät kirkkaampi ja selkeämpi ja parannettu fontin käsittelyä.

Mikä on uusi versiossa 2.5.2:

• Apache CouchDB tuki:
• Olemme lisänneet tuen NoSQL tietokannan Apache CouchDB. DataCleaner tukee sekä lukemisen, analysointiin ja kirjallisesti oman CouchDB tapauksissa.
• Päivitä taulukko kirjailija:
• Seuraa edellisessä pyrkimyksiä ETLightweight tyyliä piirteitä DataCleaner, olemme lisänneet kirjailija, joka päivittää kirjaa taulukkoon. Voit käyttää tätä esimerkiksi lisätä tai päivittää kirjaa perustuvat erityisiä edellytyksiä.
• Kuten Insert taulukkoon kirjailija, uusi DataCleaner Update taulukko kirjailija ei rajoitu SQL-tietokannat, mutta kaikki tietosäilövirhe tyyppiä, joka tukee kirjoittamista (nykyisin relaatiotietokantojen, CSV-tiedostoja, Excel, MongoDB tietokannat ja MongoDB tietokannat), mutta semantiikka ovat samat kuin perinteisellä päivitystaulukkoa lausuman SQL.
• Drill-to-yksityiskohtaisia ​​tietoja tallennetaan tulos tiedostot:
• Kun käytät Tallenna tulos piirre DataCleaner 2,5, jotkut käyttäjät kokivat pora-to-yksityiskohtaisia ​​tietoja menetettiin. Vuonna DataCleaner 2.5.2 nyt myös jatkuvat tämän tiedon, tehden DQ arkistoon paljon arvokasta tutkittaessa aiempia tietoja tapahtumista.
• Parannettu EasyDQ virheenkäsittely:
• EasyDQ komponentit on koheni virheiden käsittelyä. Jos hetkellinen verkko ongelma ilmenee tai muuhun vastaavaan asia aiheuttaa muutaman kirjaa epäonnistuvat, EasyDQ komponentit nyt sulavasti takaisin ja mikä tärkeintä - sinun erän työ tulee jatkumaan jopa huolimatta virheitä.
• Taulukko kartoitusta NoSQL datastores:
• Koska CouchDB ja MongoDB eivät pöytä perustuvat, mutta on dynaamisempi rakenne tarjoamme kaksi lähestymistapaa heidän kanssaan: Oletuksena, joka on antaa DataCleaner tunnistaa automaattisesti taulukon rakenne ja kehittyneet jonka avulla voit manuaalisesti määrittää oman haluttu taulukon rakenne. Aiemmin Lisäasetuksen ollut saatavana vain XML kokoonpano, mutta nyt käyttöliittymä sisältää asianmukaiset dialogit tämän tekemiseen suoraan sovelluksen.

Mikä on uusi versiossa 2.4.1:

• Ominaisuus parannuksia:
• Erä lastaus ominaisuuksia, joita olemme parantunut kun tietojen kirjoittamista tietokantaan taulukoita. Odottavat monet kertaluokkia parannukset.
• Kirjoittaminen tietoja on helpommin saatavilla lisäämällä vaihtoehtoja ikkunan valikosta.
• Nyt voit helposti nimetä komponentteja työpaikka tuplaklikkaamalla niiden välilehtiä.
• Javascript muuntaja on nyt syntaksin väritys, niin, että JavaScript on helpompi tarkastaa ja muuttaa.
• Bugikorjauksia:
• Kun lukemisen ja kirjoittamisen samaan -tietokannassa (esim. DataCleaner kerääntymisalue) olemme varmistaneet, että taulukon välimuisti joka tietosäilövirhe päivitetään. Aiemmin Joissakin tilanteissa annettiin näet out-of-date näkymä taulukoita.
• mahdollisen lukittumisen käynnistettäessä hakemuksen ratkaistu. Tämä umpikuja oli seurausta ongelman JVM, mutta olemme työskennelleet sen ympärille synkronoimalla kaikki puhelut erityisen API Java.

Mikä on uusi versiossa 2.4:

• Monista tunnistus (aka. Deduplication tai Fuzzy matching kirjaa) , mikä on vapaa käyttämään jopa 500000 arvoihin.
• Address tietojen validointi ja puhdistus. Näin voit tarkistaa, jos osoitteet ovat olemassa, jos ne ovat oikeassa muodossa ja jopa ehdottaa korjauksia, jos sinulla on virheitä.
• Name tietojen validointi ja puhdistus. Kun Name palvelu, EasyDQ ei ainoastaan ​​muotoilla nimiä jatkuvasti, mutta myös tarkistaa kirjoitusvirheitä ja tulkitsee nimen osat.
• Sähköposti ja puhelin validointi ja puhdistus. Nämä palvelut tarjoavat tarkistaa sähköpostin ja puhelimen tietoja, varmista, että sähköposti verkkotunnuksia on olemassa, että maa koodit ovat oikein ja paljon muuta.

Mikä on uusi versiossa 2.3:

• Kansainvälinen tiedot tukevat:
• Jos olet työskennellyt kansainvälistä tietoa, niin saatat olla eri merkistöjä tietosi, esimerkiksi kiinalaisten tai heprean. Lisäsimme merkistöä jakelu analysaattori, joka on profilointia vaihtoehto, jonka avulla voit selvittää, mitkä merkistöjä käytetään tietoja.
• Työskentely tiedot sisältävät eri merkistöä voi olla ongelmallista. Uudella translitteroida muuntaja voit nyt translitteroida merkkijonoja eri kirjoitusjärjestelmät Latinalaisessa merkkiä.
• Myös uusi webcast esittelyn panostamalla kansainvälisen dataominaisuudet DataCleaner 2,3 dokumentaatio-osioon.
• ryhmittely analyysitulosten mukaan toissijainen sarake:
• malli analysaattori pystyy nyt ryhmään kuvioita perustuva toissijainen sarakkeeseen. Tämä on hyödyllinen analyysejä, kuten:
• Hanki malleja puhelinnumeroita, ryhmitellä.
• Hanki malleja sähköpostin käyttäjätunnuksen perustuvan sähköpostiverkkotunnuksesta.
• Samantapaista on tehty Arvon Distribution analysaattorin; Tämä mahdollistaa analyyseja, kuten:
• Ovatko kaikki kaupunkien nimet selvä, kun ryhmitelty postinumeron?
• Mikä on jakelu sukupuolten sisällä erityisesti asiakastyypit?
• Parannettu kaavioita:
• Pattern löytäjä tuloksia voidaan nyt esitetyn kaavion. Tämä tekee jakelusta näkyväksi ja osoittaa, kuinka paljon on & quot; pitkän hännän & quot; malleja on.
• Tuotos arvo jakelun analysaattori on parannettu pari aloilla:
• luettavuus kaavion on parannettu.
• Se näyttää kokonaismäärä rivien ja erillisten count näinä rivit: useita erilaisia ​​arvoja, joita esiintyy riveihin. Tämä auttaa mietitään, miten usein päällekkäisiä arvoja olemassa.
• Jos on tyhjiä merkkijonoja, käytämme avainsanan sitä, niin että se on helpompi tunnistaa ne.
• Output:
• Vieressä jo tulostusmuotoja (CSV-tiedostot ja H2 datastores) lisäsimme kirjoittamista lähtö Excel.
• Kun kirjoittamista Datastore, nyt on mahdollista esikatselua tuotos, jotta voit tarkistaa, onko lähtö mukaan odotuksesi.
• Nyt on myös mahdollista lisätä tuotoksen uutena Datastore, jotta sitä voidaan käyttää syötteenä uutta työtä.
• Muita parannuksia:
• Documentation on yleisesti parantunut. Erityisesti puunkorjuu ja komentorivikäyttöliittymän kuvauksia on lisätty.
• Laajennus mekanismi on parannettu modularizing useita paloja hakemuksen ja käyttöön Google Guice kuin yleisesti saatavilla riippuvuus injektio kehyksen laajentamista kehittäjille.
• Ja tietysti teimme yli kaksikymmentä pieniä parannuksia ja korjauksia.

Mikä on uusi versiossa 2.2:

• Keskeinen syy tähän julkaisu on ollut tarina laajentuma . Vaikka vapauttaa sovelluksen olemme rinnakkain julkaisee uuden DataCleaner sivusto jossa on tärkeä uusi alue: ExtensionSwap. Ajatus ExtensionSwap on mahdollistaa jakamisen laajennuksia DataCleaner ja asennus yksinkertaisesti klikkaamalla painiketta selaimessa!
• DataCleaner laajennus API on parantunut paljon tässä julkaisussa, jolloin on mahdollista luoda omia muuntajat, analysaattorit ja suodattimet. Jos tunnet laajennuksia voisi olla merkitystä muille käyttäjille, ota jakaa se on ExtensionSwap ja tarjoamme kanava voit helposti jakaa sen tuhansia käyttäjiä. Extension API ja ExtensionSwap selitetään edelleen uudessa webcast esittely kehittäjille ja muille Asiantuntijat joiden etua.
• Olemme myös vapauttamalla alkuvaiheessa joukon laajennuksia on ExtensionSwap: Tällä HIquality yhteystiedot DataCleaner laajennus, joka tarjoaa kehittyneitä nimi, puhelinnumero ja sähköposti puhdistus, joka perustuu ihmisen Päätelmät luonnollisen kielen käsittely DQ verkkopalveluita. Olemme myös merenkulun näyte laajennus, joka toimii esimerkkinä kehittäjille haluavat kokeilla laajennus kehitystä itse. Lähikuukausina aiomme varmistaa lähettää vielä laajennuksia peräisin sisäinen salkun työkaluja, käytämme Ihmisen päättely tietämystä kerääminen joukkueet.
• Lisäksi laajennettavuus olemme myös keskitytään embeddability. Haluamme pystyä upottaa DataCleaner helposti muihin sovelluksiin tehdä profiloinnin ja tietojen analysointi mahdollista missä tahansa! Olemme luoneet uuden bootstrapping API jonka avulla sovellukset voivat niputtaa DataCleaner ja bootstrap sen dynaaminen kokoonpano tai suorittaa sitä & quot; single tietosäilövirhe mode & quot ;, jossa hakemus on viritetty kohti vain tarkastaa yhden tietosäilövirhe (tyypillisesti määritelty sovelluksen joka upottaa DataCleaner). Meillä on jo joitakin todella mielenkiintoisia tapauksia upottamisen DataCleaner teoksissa - sekä muut avoimen lähdekoodin sovelluksia sekä kaupallisiin sovelluksiin.
• Olemme lisänneet tuen analysointia SAS aineistoja. Tätä me olemme aivan ylpeitä kuin olemme, tietojemme mukaan ensimmäinen suuri avoimen lähdekoodin sovellus tarjoamaan tällaisia ​​toimintoja, lopulta vapauttavaa paljon SAS käyttäjiä. SAS yhteentoimivuus osa luotiin erillinen hanke, SassyReader, joten odotamme hyväksymistä DataCleaner maksuttoman avoimen lähdekoodin yhteisöt pian liian!
• Olemme myös lisätty tuki toisen tyyppinen tietosäilövirhe: Kiinteä leveys tiedostoja. Kiinteä leveys tiedostot ovat tekstitiedostoja, joissa kukin sarake on kiinteä leveys. Ei ole erotin tai lainata merkki, kuten CSV-tiedostoja, vaan jokainen rivi ovat yhtä pitkiä ja kussakin linja on tokenized mukaan joukko arvon pituudet.
• Mahdollisuus & quot; epäonnistua epäjohdonmukaisuuksia & quot; lisättiin CSV tiedostoon ja kiinteä leveys tiedosto datastores. Nämä liput lisätä muotoon eheyden tarkistamisen käytettäessä näitä tekstitiedoston perustuu datastores.
• Bug on vahvistettu, mikä aiheutti CSV erotin asetuksia ei pidettäväksi käyttöliittymässä, muokattaessa CSV tietosäilövirhe.
• Japani ja muut ei tueta käyttöliittymässä. Tämä & quot; bug & quot; oli kyse tutkii käytettävissä olevat fontit järjestelmään ja valitsemalla fontin joka voi tarjota erityistä merkkiä. Useimmissa nykyaikaisten siellä pystyy fontteja, mutta joissakin Unix / Linux oksat voi vielä olla rajoituksia.
• dokumentaatio-osioon on päivitetty! Siitä lähtien alkuperäisen 2.0 release asiakirjat ovat olleet kaukana, mutta olemme vihdoin saada se ajan tasalla. On vielä paloja puuttuu docs, mutta sen pitäisi ehdottomasti olla hyödyllinen peruskäytöstä sekä viittaus useimmille aiheista.
• Sovelluksen käynnistys aika paransi parallelizing kokoonpano kuormaus- ja viivyttämällä alustuksen niiden osien kokoonpano, joita ei tarvita alkuperäisen näyteikkunoita.
• foneettisen samankaltaisuuden löytäjä analysaattori on poistettu pääjakeluun koska tämä oli varsin kokeellinen ja toimii useimmiten proof of concept ja herättää kiinnostusta yhteisön luoda kehittyneempiä vastaavia analysaattorit. Nyt voit etsiä ja asentaa foneettisen samankaltaisuuden löytäjä on ExtensionSwap.
• Cancelled tai errornous työn käsittelyä parannettiin ja käyttöliittymä vastaa oikeammin poistamalla painikkeita ja edistymisen mittareihin, jos työ on pysähtynyt.
• Kiinteä muutamia pieniä UI liittyviä kysymyksiä pöytä mitoitus ja käyttö vierityspalkkeja.

Mikä on uusi versiossa 2.1.1:

• Parannukset:
• Lisätty haku / suodattaminen tekstikenttään datastores luetteloon. Näin voit nopeasti löytää Datastoren jos olet rekisteröitynyt enemmän datastores kuin ruudulla.
• Reference tietoja maakoodeja lisättiin standardin jakelun ansiosta menee Graham Rhind antamaan näitä.
• Lisätty vaakavierityspalkin tietojen esikatselun ikkunat on yli 10 saraketta.
• Mahdollisuus lisätä laajennospaketin uusia toimintoja valintaikkunan suorituksen. Painopiste siirtyy laajennuksia seuraa tulevissa versioissa.
• Olemme altistuneet ennakkoesittelyyn meidän Command-Line Interface (CLI) mahdollistamalla vedota hakemuksen kanssa & quot; -Käyttö & quot; parametri, joka näyttää CLI vaihtoehtoja.
• lisätyt lukumuotoilua vaihtoehtoja & quot; Convert lukumäärä & quot; muuntaja.
• Bugikorjauksia:
• Kiinteät out-of-muistin ongelma, kun kysely pöytiä paljon sarakkeita (150 +).
• korjaa ongelman, jossa aiheuttavat & quot; Limit analyysi & quot; valintaruutu ei voida tarkistaa kunnolla, kun työ avattiin uudelleen tallennuksen jälkeen.
• Ei oikeastaan ​​vikakorjaus koska se ei ole koskaan ollut virallista ominaisuus, mutta nyt tuemme palauttaminen käyttäjän asetukset (jäljempänä userpreferences.dat tiedosto) aiemmista versioista DataCleaner.

Mikä on uusi versiossa 2.1:

• Oli paljon työtä tehnyt käyttöliittymän ( katso media sivu):
• Päätimme poistaa vasemmalla puolella ikkunan, joka sisältää ympäristön asetuksia.
• Sen sijaan kaikki nämä vaihtoehdot ovat nyt siirretty työtä rakennuksen ikkunaa joten käyttäjä tarvitsee vain keskittyä yhteen ikkunaan kaikki vuorovaikutukset rakentamiseen tarvitaan työtä.
• Tervetuloa / kirjautumisikkunaan on myös poistettu hyväksi entistä erillisiä paneeli, joka voidaan vetää sisään tai piilossa pääikkunassa.