DataCleaner

DataCleaner is 'n oop bron en heeltemal gratis oplossing vir organisasies en besighede wat wil verhoog en meet die gehalte van hul data.

Met DataCleaner, sal gebruikers in staat wees om profile, vergelyk, te bekragtig data teen besigheid reëls en monitor die vordering van hierdie metings oor tyd.

onder sy funksies, kan ons data monitering, data profilering en DQ analise, data reiniging en verryking noem, op te spoor en voeg duplikate, gehalte kliënt data, sowel as super-vinnige ETLightweight (Uittreksel-Transform-load).

Vir meer inligting oor DataCleaner se funksies en vermoëns, leer, sowel as hoe om te werk met dit, verwys asseblief na http://eobjects.dk/docs

What nuut in hierdie release:

• verbeteringe en nuwe funksies:
• Ons het dit moontlik gemaak het om te skep en drop tafels via die lessenaar UI van DataCleaner. Let daarop dat die term & quot; tafel & quot; hier eintlik dek meer as net relasionele databasis tabelle. Dit sluit ook Sheets in MS Excel argiewe, versamelings in MongoDB, tipes dokument CouchDB en ElasticSearch en so aan ... Eintlik alle vorme datastore wat skryf-bedrywighede, behalwe enkele tafel argiewe soos CSV gegee argiewe ondersteun, ondersteun hierdie funksie! Die funksie is blootgestel via:
• & quot; Skep tabel & quot; enabled via die regs-kliek menu van skemas in die boom aan die linkerkant van die aansoek.
• & quot; Skep tabel & quot; enabled ook via tafel-seleksie insette in komponente soos voeg in tabel, Tabel soek en 'n tafel Update.
• & quot; Drop tafel & quot; enabled via die regs-kliek menu van tafels in die boom aan die linkerkant van die aansoek.
• Ons het die (opsioneel) vermoë van die spesifiseer van jou Salesforce.com web diens eindpunt URL bygevoeg. Dit laat jou toe om DataCleaner gebruik om aan te sluit op sandbox omgewing van Salesforce.com sowel jou eie persoonlike eindpunte.
• Die ElasticSearch ondersteuning is verbeter, sodat persoonlike afbeeldings asook hergebruik die ElasticSearch datastore definisies nou ook vir die soek en kruip.
• Die voorbeeld van rekords en seleksie van potensiële duplikate in die Dubbele opsporing funksie is verbeter, wat lei tot vinniger opset omdat die besluite wat geneem is tydens die opleidingsessie is meer verteenwoordigend.
• Die Dubbele opsporing model lêer formaat is opgedateer, wat die behoefte aan 'n aparte 'n verwysing 'n lêer verwyder ten einde verlede opleiding besluite te red. Verenigbaarheid met die ou formaat behou, maar met behulp van die nuwe formaat voeg baie voordele vir die gebruikers ervaring.
• Foutoplossings:
• 'n draad hongersnood probleem is vasgestel in DataCleaner monitor. Die impak van hierdie kwessie was groot, maar dit gebeur net in seldsame en baie persoonlike sake. As persoonlike luisteraar op die DataCleaner monitor voorwerpe sou 'n fout te gooi, sal dit lei tot 'n hulpbron nooit word bevry en die neem van 'n draad van die Quartz-skedulering swembad op die bediener. As dit baie keer sou gebeur kan die bediener uiteindelik loop uit gesprekke wat in daardie poel.
• Die vertikale spyskaart op die skerm gevolg word nou besig met 'n behoorlike werk van die vertoning van die etikette van die komponente wat bekend gemaak is. Dit maak dit makliker om te erken wat menu-item punte aan wat gevolg item.

Wat is nuut in weergawe 3.5.5:

• Die 'Synoniem soek' transformasie het nou 'n opsie om op te kyk elke teken van die insette. Dit is nuttig as jy vervanging van sinonieme doen binne die waardes van 'n lang teks veld.
• Blokkering uitvoering van werk DataCleaner deur die monitor se web diens vir hierdie kan soms misluk met 'n fout wat veroorsaak word deur die blokkering draad. Hierdie probleem is opgelos.
• 'n verbetering is in die manier waarop werk en die volgorde van komponente is gesluit / skoongemaak nadat uitvoering.
• Die JNLP / Java Webstart weergawe van DataCleaner blootgestel deur 'n fout in die Java Runtime veroorsaak sekere JAR lêers nie deur die Webstart lanseerder om erken te word, onder sekere omstandighede. Hierdie probleem is opgelos deur 'n effense veranderinge aan die JAR lêers.
• 'n Paar dooie skakels in die dokumentasie is vasgestel.

Wat is nuut in weergawe 3.5.4:

• Dit is nou moontlik om uitset kolomme van transformasies verberg . Wegkruip sal geen invloed op die verwerking vloei glad nie, maar bloot om weg te steek hulle van die gebruikerskoppelvlak, en dus potensieel maak die ervaring meer skoon, wanneer interaksie met ander komponente.
• 'n Nuwe web diens is by die monitering web aansoek, wat 'n manier om die status van die uitvoering van 'n spesifieke werk poll bied.
• 'n fout is vasgestel, wat veroorsaak dat die HTML verslag te smag na sekere tipes analise wanneer daar geen rekords is verwerk.
• en 6 ander klein fout is gerig.

Wat is nuut in weergawe 3.5.1:

• aanjaer verander rekords:
• 'n Nuwe filter is bygevoeg om inkrementele verwerking van rekords wat nog nie voorheen verwerk, bv in staat te stel vir profilering of kopiëring net verander rekords. Die naam van die nuwe filters is aanjaer verander rekords, met verwysing na die konsep van Verandering data capture.
• wachtrij uitvoering van werk:
• Die DataCleaner monitor sal nou ry die uitvoering van dieselfde werk, indien dit meer as een keer geaktiveer. Dit verseker dat jy dieselfde werk nie per ongeluk nie saamloop wat kan lei tot allerhande kwessies, afhangende van wat die werk doen.
• Klein bugfixes:
• Verskeie bugfixes geïmplementeer.

Wat is nuut in weergawe 3.5:

• Verskeie geleerdes is nou beskikbaar vir die registrasie van argiewe; insluitend lêer-oplaai na die bediener vir CSV lêers, databasis konneksie inskrywing, gelei registrasie van Salesforce.com geloofsbriewe en nog baie meer.
• Die werk gebou towenaars het ook uitgebrei met verskeie gevorderde funksies; Seleksie van waarde verspreiding en patroon vind velde in die vinnige analise towenaar, 'n heeltemal nuwe assistent vir EasyDQ gebaseer kliënt reiniging werk en 'n nuwe werk towenaar vir werk Pentaho Data integrasie afvuur (lees meer hieronder) skep.
• Jy kan nou ad hoc navraag enige datastore direk in die web gebruikerskoppelvlak. Dit maak dit maklik om 'n vinnige of sporadiese insigte in die data kry sonder die opstel van werk of ander bestuur benaderings van die verwerking van die data.
• Wanneer werk of argiewe geskep, word die gebruiker gelei om aksie te neem met die nuutgeboude voorwerp. Byvoorbeeld, kan jy baie vinnig hardloop 'n werk reg nadat dit gebou is, of navraag n datastore nadat dit geregistreer is.
• Administrateurs kan nou direk werk met die bewaarplek, wat is veral handig te laai as jy wil om hand-wysig die XML inhoud van die werk lêers.
• 'n groot deel van die tegniese cruft is nou weggesteek ten gunste van wat eenvoudige vensters. Byvoorbeeld, wanneer 'n werk is gelei tot 'n groot laai aanwyser getoon, en wanneer jy klaar is, sal die resultaat getoon. Die gevorderde meld skerm wat voorheen daar kan nog op die skakel te klik vir meer besonderhede vertoon.

Wat is nuut in weergawe 3.1.2:

• Ons het 'n web diens in die monitering bygevoeg aansoek vir die kry van 'n (lys van) metrieke waardes. Dit maak die monitering selfs meer bruikbaar as 'n belangrike komponent van infrastruktuur, as 'n manier om data (kwaliteit) monitor en bloot die resultate te derde party programme.
• Die "Table soek 'n komponent is verbeter deur die byvoeging aan te sluit semantiek as 'n konfigureerbare eiendom. Die gebruik van die sluit semantiek jy kan aanpas as jy die soek na semanties werk soos 'n links wil sluit of 'n innerlike aan te sluit.
• Die EasyDQ komponente is opgegradeer, en voeg verdere verstellings opsies en 'n ryker deduplicatie gevolg koppelvlak.
• Performance verbeteringe n spesifieke fokus van hierdie uitgawe is. Verbeterings aangebring in die enjin van DataCleaner om verder te benut n streaming verwerking benadering in sekere hoek gevalle wat nie voorheen gedek.

Wat is nuut in weergawe 3.1.1:

• Die datum en tyd wat verband hou ontleding opsies is uitgebrei en bygevoeg verspreiding ontleder vir week getalle, maande en jare. Alle ontleder wat verband hou met die datum en tyd is nou gegroepeer binne 'n submenu genaamd & quot; Datum en tyd & quot; onder & quot; Analiseer & quot;.
• 'n opsionele & quot; beskrywende statistiek & quot; opsie is by die nommer ontleder en die datum / tyd ontleder. Hierdie opsie voeg addisionele statistieke om die resultate van hierdie ontleder, soos mediaan, Skeefheid, persentiele en Kurtose. Hierdie statistieke is opsioneel aangesien hul geheue voetspoor is 'n bietjie groter as die bestaande statistieke.
• Die lyne in die tydlyn kaarte van die monitering web aansoek nou klein kolletjies in hulle nie. Dit is veral nuttig vir kaarte met 'n paar (of selfs net een) waarnemings in hulle -. Uitwys presies waar die waarneming punte is
• Die navraag ontleder wanneer beroep ad hoc navrae is ook aansienlik verbeter. Nou navrae kan DISTINCT klousules, * -wildcards, subqueries bevat en is fout tolerante teenoor teks-geval kwessies.
• Twee nuwe transformators is bygevoeg vir die opwekking van UUIDs en vir die opwekking van tyd tempel.

Wat is nuut in weergawe 3.1:

• metrieke formules - uitgebrei Data Kwaliteit KPI:
• Dit is nou moontlik om baie meer te bou uitbrei Data Kwaliteit KPI in DataCleaner se monitering web aansoek. Die gebruikerskoppelvlak laat jou toe om komplekse formules in 'n sigblad-agtige formule styl te bou; die gebruik van veranderlikes deur werksgeleenthede DataCleaner ingesamel.
• metrieke formules kan enige aantal statistieke, konstantes en bedrywighede te kombineer, solank dit uitgedruk kan word in 'n wiskundige vergelyking.
• Byvoorbeeld - meet die tempo van dubbele rekords in persentasie van die totale rekord telling. Of meet die hoeveelheid van die produk kodes wat voldoen aan 'n stel van verskeie string patrone.
• ad hoc bevraagteken - van enige datastore:
• Met DataCleaner 3.1 julle nou ad hoc navrae kan uitvoer om enige datastore! Navrae kan uitgedruk word in 'n plat SQL en sal aangewend word om databasisse asook lêers, NoSQL databasisse en nog baie meer, die verskaffing van 'n werklik nuttig navraag meganisme om uit te brei in jou ontdekking en data profilering ervaring.
• Die navraag opsie is ook beskikbaar deur middel van 'n web diens aan die monitering van die gebruikers met die ADMIN rol. Die soektog word verskaf as 'n HTTP parameter of NA liggaam, en die resultaat is as 'n XHTML tafel.
• Waarde Matcher - 'n nuwe ontleding opsie:
• Dikwels jy 'n ferm idee waarop waardes moet toegelaat word en sal na verwagting vir 'n bepaalde gebied. In DataCleaner daar was nog altyd die Value Distribution analise opsie wat sal help om jou aannames te laat geld nie. In DataCleaner 3.1 al het jy 'n meer akkurate offer - die waarde Matcher. Hierdie analise opsie kan jy 'n stel van verwagte waardes spesifiseer en dan uit te voer 'n waarde verspreiding soos ontleding, spesifiek om te bekragtig en te identifiseer onverwagte waardes.
• Die kopiëring, te verwyder en die bestuur van die werk:
• Die bestuur van werk en die resultate in die DataCleaner monitor aansoek aansienlik verbeter. Jy kan nou op 'n werk in die skedulering bladsy van die monitor, en vind bestuur opsies wat beskikbaar is vir bedrywighede soos herbenaming, kopiëring, verwyder en nog baie meer. Elke operasie respekteer die skakeling met ander artefakte in die monitor, soos ontleding resultate, skedules en nog baie meer. Dit beteken dat die bestuur van die monitering bewaarplek 'n baie makliker en volwasse geword het.
• Bestuur data kwaliteit geskiedenis:
• Soms jy in die gesig staar situasies waar jy eintlik wil monitering doen met historiese data! Dit kan wees dat jy historiese stortingsterreine of rugsteun van databasisse, wat jy wil om te wys en vertel die verhaal van. Jy kan nou doen die analise van hierdie historiese data, laai dit op die DataCleaner monitor, en met behulp van 'n nuwe web diens, stel 'n historiese data van die betrokke ontleding gevolg. Dit beteken dat jou tydlyne behoorlik die resultate sal stip met behulp van hul beoogde datum, maar met die resultate wat jy dalk het ingesamel op 'n latere tydstip.
• Gegroepeer skeduleerder ondersteuning (slegs EE):
• Die skeduleerder van DataCleaner monitor is externalized, sodat dit kan vervang word deur die middel van 'n eenvoudige opset. In die Enterprise Edition (EE) van DataCleaner, bied ons 'n cluster skeduleerder, die verskaffing van die vermoë om balans in 'n groep van masjiene laai en te versprei jou teregstellings.
• Enkellopend-aanmelding (SSO) met behulp van SAS (EE net):
• In die Enterprise Edition (EE) van DataCleaner ons nou verskaf 'n enkel-aanmelding opsie vir die monitor aansoek. Nou DataCleaner kan 'n geïntegreerde deel van jou IT-infrastruktuur, ook sekuriteit-wyse wees.
• ... En nog baie meer: ​​
• Die bogenoemde is net 'n opsomming. Meer as dertig kwessies opgelos in hierdie uitgawe. Ons het verskeie versoeke wat uit die forums en gemeenskap opgelos, en ons moedig almal aan hierdie medium gebruik as 'n voertuig vir 'n verandering. Ons is baie gelukkig om die ontwikkeling van DataCleaner swaar beïnvloed word deur die strome in die gemeenskap.

Wat is nuut in weergawe 3.0.3:

• Voeg 'n diens vir die hernoeming van werkgeleenthede in die monitering bewaarplek .
• Jy kan dit toegang as 'n REST Web Service of interaktief in die UI.
• 'n Web diens is bygevoeg vir die verandering van die historiese datum van 'n ontleding lei tot die monitering repository.
• Die Web aansoek verenigbaar met nalatenskap JSF houers gemaak.
• Caching van opset in die Web aansoek is aansienlik verbeter, wat lei tot vinniger bladsy laai en inisialisering werk tye.

Wat is nuut in weergawe 3.0.2:

• Wanneer verwek 'n werk in die monitering web aansoek, die paneel outomaties bygewerk elke tweede tot die jongste stand van die uitvoering kry.
• -lêer gebaseer argiewe (soos CSV of Excel-sigblaaie) met absolute paaie is nou korrek opgelos in die monitering web aansoek.
• Die & quot; Kies uit sleutel / waarde kaart & quot; transformator ondersteun nou geneste kies uitdrukkings soos & quot; Address.Street & quot; of & quot; bestellingen [0] .product.name & quot;.
• Die tafel lookup meganisme is geskik vir prestasie, met behulp van voorbereide state toe hardloop teen JDBC databasis.

Argiewe & quot;
• Administrateurs kan nou-lêer gebaseer argiewe direk vanaf die & quot aflaai; bladsy.
• Uitsondering hantering in die monitering web aansoek is verbeter 'n bietjie, maak die fout boodskappe meer akkurate en intuïtief.

Wat is nuut in weergawe 3.0.1:

• Die primêre bugfix in hierdie uitgawe was oor die herstel van die kartering van kolomme en spesifieke enumerable kategorië. Byvoorbeeld in die nuwe Volledigheid ontleder, het ons gevind dat na herlaai 'n gered werk, die kartering was nie altyd korrek nie.
• Verder 'n paar interne verbeterings aangebring, wat dit makliker maak om die DataCleaner monitor web aansoek in 'n omgewing te ontplooi met behulp van die lente Framework.
• Laaste maar nie die minste nie, die visualisering instellings in die lessenaar toepassing is verbeter deur outomaties die neem van 'n blik op die werk wat gevisualiseer en Reguliere vertoon artefakte wat gebaseer is op die grootte skerm en hoeveelheid besonderhede wat nodig is om dit mooi te wys.

Wat is nuut in weergawe 3.0:

• Vertoning van tydlyn en tendense van data kwaliteit statistieke
• Gesentraliseerde bewaarplek vir die bestuur en met werkgeleenthede, resultate, tydlyne, ens.
• Skedulering en ouditering van werk DataCleaner
• Die verskaffing van web dienste vir oproep van DataCleaner transformasies
• Sekuriteit en multi-huur
• Alert en kennisgewings wanneer data kwaliteit statistieke is uit hul verwagte gemaksone.
• Daar is 'n nuwe Volledigheid ontleder wat baie nuttig vir net die identifisering van rekords wat onvolledig velde het.
• Jy kan nou uitvoer DataCleaner resultate om mooi HTML verslae wat jy kan gee aan jou bestuurder, of stuur jou XML parser!
• Die nuwe monitering omgewing is ook nou geïntegreer met die lessenaar toepassing. So, die lessenaar aansoek het nou die vermoë om werk en resultate te publiseer om die monitor repository, en om gebruik te word as 'n interaktiewe redakteur vir inhoud wat reeds in die repository.
• Nuwe-date georiënteerde transformasies is nou beskikbaar: Datum reeks filter, wat jou toelaat om datastelle subset gebaseer op periodes, en formaat datum, wat dit moontlik maak om 'n datum formaat met behulp van 'n datum masker
.
• Die Regex Parser (wat voorheen slegs beskikbaar was deur middel van die ExtensionSwap) is nou ingesluit in DataCleaner. Dit maak dit baie gerieflik om ontleed en te standaardiseer ryk teks velde met behulp van gereelde uitdrukkings.
• Daar is 'n nuwe teks geval transformator beskikbaar. Met hierdie transformasie kan jy maklik skakel tussen die boonste / onderste geval en behoorlike kapitalisasie van sinne en woorde.
• Twee nuwe soek / vervang transformasies is bygevoeg. Plain soek / vervang en Regex soek / vervang
• Die gebruikers se ervaring van die lessenaar aansoek is verbeter. Ons het 'n paar in-aansoek help boodskappe bygevoeg, het die kleure kyk helderder en duideliker en die verbetering van die skrif hantering.

Wat is nuut in weergawe 2.5.2:

• Apache CouchDB ondersteuning:
• Ons het ondersteuning bygevoeg vir die NoSQL databasis Apache CouchDB. DataCleaner ondersteun beide die lees van, die ontleding en skryf na jou CouchDB gevalle.
• tafel Werk skrywer:
• Na aanleiding van ons vorige pogings om ETLightweight-styl eienskappe in DataCleaner bring, ons het 'n skrywer wat rekords in 'n tabel updates bygevoeg. Jy kan dit gebruik om byvoorbeeld rekords te voeg of werk wat gebaseer is op spesifieke omstandighede.
• Soos die plaas in tabel skrywer, die nuwe DataCleaner Werk tafel skrywer is nie beperk tot-SQL gebaseer databasisse, maar enige datastore tipe wat ondersteun skryf (tans relasionele databasisse, CSV lêers, Excel-sigblaaie, MongoDB databasisse en MongoDB databasisse), maar die semantiek is dieselfde as met 'n tradisionele UPDATE TABEL verklaring in SQL.
• Drill-tot-detail inligting gestoor in gevolg lêers:
• By die gebruik van die Save gevolg kenmerk van DataCleaner 2.5, sommige gebruikers ervaar dat hul boor-tot-detail inligting verlore was. In DataCleaner 2.5.2 ons nou ook voortduur hierdie inligting, maak jou DQ argiewe baie meer werd as die ondersoek na historiese data voorvalle.
• Verbeterde EasyDQ fouthantering:
• Die EasyDQ komponente is verbeter in terme van hantering fout. As 'n kortstondige netwerk probleem voorkom of 'n ander soortgelyke probleem veroorsaak 'n paar rekords te misluk, sal die EasyDQ komponente nou grasieus te herstel en die belangrikste -. Jou joernaal werk sal seëvier selfs ten spyte van foute
• Table kartering vir NoSQL argiewe:
• Sedert CouchDB en MongoDB nie tafel gebaseer, maar het 'n meer dinamiese struktuur wat ons lewer twee benaderings tot werk met hulle: Die standaard, wat is om jou te laat DataCleaner volgende automaties vind: 'n tafel struktuur, en die gevorderde waarmee jy met die hand te spesifiseer jou gewenste tafel struktuur. Voorheen is die gevorderde opsie was slegs beskikbaar deur middel van XML opset, maar nou is die gebruikerskoppelvlak bevat gepaste vensters om dit te doen direk in die aansoek.

Wat is nuut in weergawe 2.4.1:

• verbeteringe:
• Batch laai funksies ons aansienlik verbeter wanneer die skryf van data na die databasis tabelle. Verwag om baie ordes verbeterings hier te sien.
• Skryf aan data is meer gerieflik beskikbaar gestel word deur die byvoeging van die opsies om die venster.
• Jy kan nou maklik hernoem komponente van 'n werk deur dubbel te kliek die oortjies.
• Die Javascript transformator het nou sintaksis kleur, sodat jou Javascript is makliker om te inspekteer en te verander.
• Foutoplossings:
• Wanneer die lees van en skryf aan dieselfde datastore (bv. Die DataCleaner toets gebied) het ons seker dat die tafel kas van daardie datastore verfris gemaak. Voorheen 'n paar scenario's toegelaat dat jy 'n out-of-date siening van die tafels te sien.
• 'n potensiële dooiepunt by die begin van die aansoek is opgelos. Dit dooiepunt was 'n gevolg van 'n probleem in die JVM, maar ons gewerk om dit deur te sinchroniseer alle oproepe na die bepaalde API in Java.

Wat is nuut in weergawe 2.4: (. Aka deduplicatie of fuzzy matching van rekords)

• Dubbele opsporing Dit is gratis om te gebruik vir tot 500,000 waardes.
• Adres data validering en reiniging. Dit laat jou toe om te kyk of adresse bestaan, indien dit korrek geformateer en selfs om regstellings in geval jy foute stel.
• Naam data validering en reiniging. Met die Naam diens, het EasyDQ nie net formaat julle name konsekwent, maar kontroleer ook vir spelfoute en interpreteer die naam dele.
• E-pos en telefoon validering en reiniging. Hierdie dienste kontrolering van e-pos en telefoon data, maak seker dat e-pos domein bestaan, daardie land kodes korrek en nog baie meer is.

Wat is nuut in weergawe 2.3:

• International data ondersteuning:
• As jy besig is met internasionale data, dan kan jy 'n ander karakter sets in jou data, byvoorbeeld Chinese of Hebreeus. Ons het bygevoeg dat die karakter stel verspreiding ontleder, wat 'n profiel opsie waarmee jy uitvind watter karakter stelle gebruik in jou data.
• Werk met data wat verskillende karakter sets kan problematies wees. Die gebruik van die nuwe Translitereer transformator kan jy nou translitereer snare uit verskillende skryfstelsels om Latynse karakters.
• Daar is ook 'n nuwe webcast demonstrasie, met die fokus op die internasionale data vermoëns van DataCleaner 2.3 in die dokumentasie gedeelte.
• Groepering van analise resultate deur 'n sekondêre kolom:
• Die Patroon ontleder is nou in staat om groep patrone gebaseer op 'n sekondêre kolom. Dit is nuttig vir ontledings soos:
• Kry patrone van telefoonnommers, gegroepeer volgens land.
• Kry patrone van e-pos rekening op grond van e-pos domein.
• Iets soortgelyks gedoen vir die waarde Distribution ontleder; Dit laat vir ontledings soos:
• Is al stad name duidelike, wanneer gegroepeer deur die poskode?
• Wat is die verspreiding van geslag binne bepaalde tipes kliënte?
• Verbeterde kaarte:
• Die Patroon Well resultate kan nou getoon in 'n grafiek. Dit maak die verspreiding sigbaar en toon hoeveel van 'n & quot; n lang stert & quot; van patrone wat daar is.
• Die uitset van die waarde verspreiding ontleder is verbeter in 'n paar gebiede:
• Die leesbaarheid van die grafiek is verbeter.
• Dit wys die totale aantal rye en die duidelike telling oor hierdie rye: die aantal verskillende waardes wat bestaan ​​in die rye. Dit help om in die uitzoeken hoe dikwels dubbele waardes bestaan.
• Indien daar leë stringe, gebruik ons ​​die term daarvoor, sodat dit makliker is om hulle te erken.
• Uitgawe:
• Langs die reeds bestaande uitvoer formate (CSV lêers en H2 argiewe) ons bygevoeg skryf uitset na Excel sigblaaie.
• Na die skryf van 'n datastore, is dit nou moontlik voorskou die uitset, sodat jy kan kyk of die uitset is volgens jou verwagtinge.
• Dit is nou ook moontlik om die uitset as 'n nuwe datastore voeg, sodat dit gebruik kan word as insette vir 'n nuwe werk.
• Ander verbeterings:
• Dokumentasie is oor die algemeen verbeter. In die besonder, het aan te meld en command line interface beskrywings bygevoeg.
• Die uitbreiding meganisme is verbeter deur modularizing n paar stukkies van die aansoek en die bekendstelling van Google Guice as 'n algemeen beskikbare afhanklikheid inspuiting raamwerk vir uitbreiding ontwikkelaars.
• En natuurlik ons ​​het meer as twintig klein verbeterings en bug fixes.

Wat is nuut in weergawe 2.2:

• Die belangrikste dryfveer vir hierdie uitgawe is 'n storie oor rekbaarheid . Terwyl die vrystelling van die aansoek is ons op dieselfde tydstip vrystelling van 'n nuwe DataCleaner webwerf wat 'n belangrike nuwe gebied beskik oor: Die ExtensionSwap. Die idee van die ExtensionSwap is om deel van uitbreidings aan DataCleaner en installasie toe te laat bloot deur op 'n knoppie in die leser!
• Die DataCleaner uitbreiding API is baie verbeter in hierdie uitgawe, wat dit moontlik maak om jou eie transformators, ontleder en filters te skep. As jy voel jou uitbreidings kan van belang is vir ander gebruikers, kan jy deel dit op die ExtensionSwap en ons bied 'n kanaal vir jou om dit maklik te versprei aan duisende van die gebruikers. Die Uitbreiding API en die ExtensionSwap word verder verduidelik in ons nuwe webcast demonstrasie vir ontwikkelaars en ander Techneuten met 'n belangstelling.
• Ons is ook die vrystelling van 'n stel van die aanvanklike uitbreidings op die ExtensionSwap: Die HIquality kontakte vir DataCleaner uitbreiding wat bied gevorderde Naam, Phone en e-pos reiniging, gebaseer op Menslike Inferensie natuurlike taal verwerking DQ web dienste. Ons is ook gestuur 'n monster uitbreiding wat as 'n voorbeeld vir ontwikkelaars wat wil om te probeer om verlenging ontwikkeling hulself sal dien. In die komende maande sal ons seker maak om nog meer uitbreidings oorsprong van ons interne portefeulje van gereedskap wat ons gebruik by Human Inference se kennis versamel spanne lewer.
• Benewens rekbaarheid ons ook fokus op toepasbaarheid. Ons wil in staat wees om DataCleaner maklik embed in ander programme om oral profilering en data-analise moontlik te maak! Ons het 'n nuwe Opstarten API wat toelaat dat programme om DataCleaner bundel en opstart dit met 'n dinamiese opset of voer dit in 'n & quot; n enkele datastore af & quot ;, waar die aansoek gestem teenoor net inspekteer 'n enkele datastore (tipies gedefinieer deur die toepassing wat ingesluit DataCleaner). Ons het reeds 'n paar baie interessante gevalle van inbedding DataCleaner in die werke -. Beide in ander open source programme sowel as kommersiële aansoeke
• Ons het ondersteuning bygevoeg vir die ontleding van SAS data stelle. Dit is iets wat ons baie trots op wat ons is, om ons kennis, die eerste groot open source aansoek om sodanige funksies te voorsien, uiteindelik bevryding baie SAS gebruikers. Die SAS interoperabiliteit deel is geskep as 'n aparte projek, SassyReader, so ons verwag om aanvaarding in komplimentêre open source gemeenskappe DataCleaner se gou te sien!
• Ons het ook bygevoeg ondersteuning vir 'n ander soort datastore: Vaste wydte lêers. Vaste wydte lêers teks lêers waar elke kolom het 'n vaste wydte. Daar is geen skeiding of kwotasie karakter, soos CSV lêers, plaas elke lyn is ewe lank en elke lyn sal tokenized volgens 'n stel van waarde lengtes.
• 'n opsie om & quot; misluk op teenstrydighede & quot; is om CSV en vaste wydte lêer argiewe bygevoeg. Hierdie vlae voeg 'n integriteit formaat tjek by die gebruik van hierdie teks lêer gebaseer argiewe.
• 'n fout is vasgestel, wat CSV separator instellings nie in die gebruikerskoppelvlak, tydens die wysiging van 'n CSV datastore.
behou moet word veroorsaak
• Japanese en ander karakters word nie ondersteun in die gebruikerskoppelvlak. Dit & quot; fout & quot; was 'n kwessie van die ondersoek beskikbaar fonts op die stelsel en 'n teken dat die betrokke karakters lewer kies. Op die meeste moderne stelsels sal daar wees in staat fonts beskikbaar, maar op 'n paar Unix / Linux takke kan daar nog steeds beperkinge.
• Die dokumentasie artikel is opgedateer! Sedert die aanvanklike 2,0 release die dokumentasie het ver agter nie, maar ons het uiteindelik daarin geslaag om dit te kry tot op datum. Daar is nog stukke ontbreek in die dokumente, maar dit moet beslis nuttig vir basiese gebruik sowel as 'n verwysing vir die meeste onderwerpe wees.
• Aansoek opstart tyd is verbeter deur parallelizing die opset laai en deur die uitstel van die inisialisering van daardie dele van die opset wat nie nodig is vir die eerste vensteruitstalling.
• Die fonetiese ooreenkoms Well ontleder is verwyder uit die hoof verspreiding, aangesien dit was nogal eksperimentele en dien hoofsaaklik as 'n bewys van die konsep en 'n voorgereg om die gemeenskap meer gevorderde bypassende ontleder skep. Jy kan nou en installeer die fonetiese ooreenkoms finder op die ExtensionSwap.
• Gekanselleerde of errornous hantering werk is verbeter en die gebruikerskoppelvlak reageer meer korrek deur die aanskakel van knoppies en vordering aanwysers, as 'n werk het gestop.
• Vaste 'n paar klein UI kwessies wat verband hou met tafel grootte en gebruik van rolstawe.

Wat is nuut in weergawe 2.1.1:

• Verbeterings:
• Bygevoeg 'n soektog / filter teks veld op die lys argiewe. Dit stel jou in staat om vinnig te vind jou datastore as jy meer gegee argiewe geregistreer as beskikbaar op die skerm.
• Verwysing data vir land kodes is bygevoeg om die standaard verspreiding, dank aan Graham Rhind vir die verskaffing van hierdie.
• Bygevoeg 'n horisontale rolbalk om die data voorskou vensters van daar meer as 10 kolomme.
• Die vermoë om 'n verlenging pakket voeg met 'n nuwe funksies in die dialoog Opsies tydens looptyd. Meer fokus op uitbreidings sal volg in die komende vrystellings.
• Ons het 'n vroeë voorskou van ons bevel-line interface (CLI) blootgestel deur toelaat jy Na die aansoek met beroep op die & quot; -usage & quot; parameter wat die CLI opsies sal wys.
• Bygevoeg aantal opmaak opsies om die & quot; Skakel na nommer & quot; transformator.
• Foutoplossings:
• Vaste 'n out-of-geheue probleem wanneer bevraagteken tafels met 'n baie kolomme (150 +).
• Vaste 'n probleem wat veroorsaak dat die & quot; perk ontleding & quot; check box om nie korrek gekontroleer word wanneer 'n werk is heropen nadat spaar.
• Nie regtig 'n bugfix soos dit was nooit 'n amptelike funksie, maar nou ondersteun ons die herstel van gebruikers voorkeure (die userpreferences.dat lêer) van die vorige weergawes van DataCleaner.

Wat is nuut in weergawe 2.1:

• Daar was 'n baie werk gedoen op die gebruikerskoppelvlak ( sien media bladsy):
• Ons het besluit om die venster linkerkant verwyder met omgewing opset opsies.
• In plaas al hierdie opsies is nou verskuif na die venster werk gebou sodat die gebruiker net het om te fokus op 'n enkele venster vir al die interaksies wat nodig is om 'n werk te bou.
• Die dialoog welkom / login is ook verwyder ten gunste van 'n meer diskrete paneel wat in kan trek of verberg die hoof venster.
• Datawinkel seleksie en bestuur word beskou as die eerste aktiwiteit in die aansoek, en dit is waarom dit is ook die eerste stap om te hanteer in die hoof venster.