DataCleaner

DataCleaner is 'n oop bron en heeltemal gratis oplossing vir organisasies en besighede wat wil verhoog en meet die gehalte van hul data.
Met DataCleaner, sal gebruikers in staat wees om die profiel van, vergelyk, data teen besigheid reëls bekragtig, en monitor die vordering van hierdie metings oor tyd.
Onder sy funksies, kan ons data monitering, data profilering en DQ analise, data reiniging en verryking, spoor en voeg duplikate, gehalte kliëntediens data, sowel as super-vinnige ETLightweight (Uittreksel-Transform-load) noem.
Vir meer inligting oor funksies en vermoëns DataCleaner se leer asook hoe om te werk met dit, verwys asseblief na http://eobjects.dk/docs

What is nuwe in hierdie release :

• verbeteringe en nuwe funksies:
• Ons het dit moontlik gemaak het om te skep en drop tafels via die lessenaar UI van DataCleaner. Let daarop dat die term & quot; tafel & quot; hier eintlik dek meer as net relasionele databasis tabelle. Dit sluit ook in Sheets MS Excel argiewe, Versamelings in MongoDB, tipes Document in CouchDB en ElasticSearch en so aan ... Basies alle vorme datastore wat skryf-bedrywighede, behalwe single-tafel argiewe soos CSV argiewe te ondersteun, ondersteun hierdie funksie! Die funksie is blootgestel via:
• & quot; Skep tabel & quot; enabled via die regs-kliek menu van skemas in die boom aan die linkerkant van die aansoek.
• & quot; Skep tabel & quot; ook in staat gestel via tafel seleksie insette in komponente soos voeg in tafel, Table lookup en tafel Update.
• & quot; Drop tafel & quot; enabled via die regs-kliek menu van die tafels in die boom aan die linkerkant van die aansoek.
• Ons het die (opsioneel) vermoë van die spesifiseer jou Salesforce.com web diens eindpunt URL bygevoeg. Dit laat jou toe om DataCleaner sowel gebruik te maak om sandbox omgewings van Salesforce.com om jou eie persoonlike eindpunte.
• Die ElasticSearch ondersteuning is verbeter, sodat persoonlike afbeeldings asook hergebruik die ElasticSearch datastore definisies nou ook vir die soek en kruip.
• Die voorbeeld van rekords en keuring van potensiële duplikate in die Dubbele opsporing funksie is verbeter, wat lei tot vinniger opset omdat die besluite wat geneem is tydens die opleidingsessie is meer verteenwoordigend.
• Die Dubbele opsporing model lêer formaat is opgedateer wat verwyder die behoefte aan 'n aparte se verwysing 'n lêer om die verlede opleiding besluite te red. Verenigbaarheid met die ou formaat is behou, maar met behulp van die nuwe formaat voeg baie voordele vir die gebruikers ervaring.
• bugfixes:
• 'n draad hongersnood kwessie is vasgestel in DataCleaner monitor. Die impak van hierdie kwessie was groot, maar dit gebeur net in skaars en baie persoonlike gevalle. As persoonlike luisteraar voorwerpe op die DataCleaner monitor sal gooi 'n fout, sou dit lei tot 'n hulpbron nooit bevry en neem 'n draad van die Quartz-skedulering swembad op die bediener. As dit sou gebeur baie keer die bediener kon uiteindelik loop uit drade in daardie poel.
• Die vertikale spyskaart op die skerm gevolg word nou besig met 'n behoorlike werk van die vertoon van die etikette van die komponente wat resultate te hê. Dit maak dit makliker om te erken wat menu-item punte aan wat gevolg item.

Wat is nuut in die weergawe 3.5.7:

• Die 'Synoniem lookup' transformasie het nou 'n opsie om te kyk elke teken van die insette. Dit is nuttig as jy doen vervanging van sinonieme binne die waardes van 'n lang teks veld.
• Blokkering uitvoering van werk DataCleaner deur die monitor se web diens vir dit kan soms misluk met 'n fout wat veroorsaak word deur die blokkering draad. Hierdie probleem is opgelos.
• 'n verbetering wat in die pad werk en die volgorde van komponente is gesluit / skoongemaak nadat uitvoering.
• Die JNLP / Java Webstart weergawe van DataCleaner blootgestel deur 'n fout in die Java Runtime veroorsaak sekere JAR lêers nie om erken te word deur die Webstart lanseerder, onder sekere omstandighede. Hierdie probleem is vasgestel deur 'n effense veranderinge aan diegene JAR lêers.
• 'n Paar dooie skakels in die dokumentasie is vasgestel.

Wat is nuut in die weergawe 3.5.4:

• Dit is nou moontlik om uitset kolomme van transformasies verberg . Wegkruip sal geen invloed op die verwerking vloei nie, maar hulle net verberg die gebruikerskoppelvlak, en dus potensieel die maak van die ervaring meer skoon, wanneer interaksie met ander komponente.
• 'n nuwe web-diens is by die monitering web aansoek, wat 'n manier om die status van die uitvoering van 'n spesifieke werk poll bied.
• 'n fout is vasgestel, wat veroorsaak dat die HTML verslag smag na sekere tipes analise wanneer daar geen rekords het verwerk is.
• en 6 ander klein fout is aangespreek.

Wat is nuut in die weergawe 3.5.1:

• Capture verander rekords:
• 'n nuwe filter is bygevoeg om inkrementele verwerking van rekords wat nie voorheen verwerk, bv in staat stel vir profilering of kopiëring slegs gewysigde rekords. Die nuwe filters se naam is verander Capture rekords, met verwysing na die konsep van Verandering data capture.
• tougestaan ​​uitvoering van werk:
• Die DataCleaner monitor sal nou ry die uitvoering van dieselfde werk, as dit verskeie kere is veroorsaak. Dit verseker dat jy nie per ongeluk dieselfde werk saamloop wat kan lei tot alle vorme van kwessies, afhangende van wat die werk doen.
• Klein bugfixes:
• Verskeie bugfixes geïmplementeer is.

Wat is nuut in die weergawe 3.5:

• Verskeie geleerdes is nou beskikbaar vir die registrasie van argiewe; insluitend lêer oplaai na die bediener vir CSV lêers, databasis konneksie inskrywing, gelei registrasie van Salesforce.com geloofsbriewe en nog baie meer.
• Die taak gebou towenaars het ook uitgebrei met verskeie gevorderde funksies; Keuse van waarde verspreiding en patroon vind velde in die vinnige analise towenaar, 'n heeltemal nuwe assistent vir die skep van EasyDQ gebaseerde kliënt reiniging werk en 'n nuwe werk towenaar vir die afvuur werk Pentaho Data integrasie (meer lees hieronder).
• Jy kan nou ad hoc navraag oor enige datastore direk in die web gebruikerskoppelvlak. Dit maak dit maklik om te vinnig of sporadiese insigte in die data kry sonder opstel werk of ander bestuur benaderings van die verwerking van die data.
• Sodra werk of argiewe geskep word, word die gebruiker gelei om aksie te neem met die nuutgeboude voorwerp. Byvoorbeeld, kan jy baie vinnig 'n werk uit te voer reg nadat dit gebou is, of navraag n datastore nadat dit geregistreer is.
• Administrateurs kan nou direk werk aan die repository, wat is veral handig te laai as jy wil hê dat die XML inhoud van die werk lêers hand wysig.
• 'n groot deel van die tegniese cruft is nou weggesteek in die guns van die toon van eenvoudige vensters. Byvoorbeeld, wanneer 'n werk is veroorsaak 'n groot laai aanwyser getoon, en wanneer jy klaar is, sal die resultaat getoon word. Die gevorderde meld skerm wat voorheen daar kan nog steeds vertoon op 'n skakel vir meer besonderhede.

Wat is nuut in die weergawe 3.1.2:

• Ons het 'n web diens in die monitering bygevoeg aansoek om om 'n (lys van) metrieke waardes. Dit maak die monitering selfs meer bruikbaar as 'n belangrike komponent van infrastruktuur, as 'n manier om data (kwaliteit) monitor en die resultate bloot te stel aan 'n derde party programme.
• Die 'Table lookup 'n komponent is verbeter deur die toevoeging van sluit semantiek as 'n konfigureerbare eiendom. Die gebruik van die semantiek te sluit kan jy aanpas as jy wil die lookup om semanties werk soos 'n LEFT sluit of 'n innerlike JOIN.
• Die EasyDQ komponente is opgegradeer, verdere opset opsies en 'n ryker deduplicatie gevolg koppelvlak te voeg.
• verbeterings Performance het 'n spesifieke fokus van hierdie release nie. Verbeterings is gemaak in die enjin van DataCleaner n streaming verwerking benadering in sekere gevalle hoek wat nie voorheen gedek verder te benut.

Wat is nuut in die weergawe 3.1.1:

• Die datum en tyd verwant ontleding opsies is uitgebrei , en voeg verspreiding ontleder vir week nommers, maande en jare. Alle ontleder wat verband hou met die datum en tyd is nou gegroepeer binne 'n submenu genaamd & quot; Datum en tyd & quot; onder & quot; Analiseer & quot;.
• 'n opsionele & quot; beskrywende statistiek & quot; opsie is bygevoeg om die nommer ontleder en die datum / tyd ontleder. Hierdie opsie voeg addisionele statistieke om die resultate van hierdie ontleder, soos mediaan, Skeefheid, persentiele en kurtose. Hierdie statistieke is opsioneel aangesien hul geheue voetspoor is ietwat groter as die bestaande statistieke.
• Die lyne in die tydlyn kaarte van die monitering web aansoek nou klein kolletjies in hulle. Dit is veral nuttig vir kaarte met 'n paar (of selfs net een) waarnemings in hulle -. Uitwys presies waar die waarneming punte is
• Die navraag parser wanneer beroep ad-hoc navrae het ook aansienlik verbeter. Nou navrae kan DISTINCT klousules, * -wildcards, subqueries bevat en skuld-verdraagsaam teenoor teks geval kwessies.
• Twee nuwe transformators is bygevoeg vir die opwekking van UUIDs en vir die opwekking van tyd tempel.

Wat is nuut in die weergawe 3.1:

• metrieke formules - uitgebrei Data Kwaliteit KPI:
• Dit is nou moontlik om veel meer te bou uitbrei Data Kwaliteit KPI in DataCleaner se monitering web aansoek. Die gebruikerskoppelvlak kan jy komplekse formules in 'n sigblad soos formule styl bou; die gebruik van veranderlikes deur werkgeleenthede DataCleaner ingesamel.
• metrieke formules kan enige aantal statistieke, konstantes en bedrywighede te kombineer, solank dit uitgedruk kan word in 'n wiskundige vergelyking.
• Byvoorbeeld - meet die tempo van duplikaat rekords in persentasie van die totale telling rekord. Of meet die hoeveelheid van die produk kodes wat voldoen aan 'n stel van verskeie string patrone.
• Ad-hoc bevraagteken - enige datastore:
• Met DataCleaner 3,1 kan jy nou ad hoc navrae uit te voer om enige datastore! Navrae kan uitgedruk in plain SQL en aangewend sal word om databasisse asook lêers, NoSQL databasisse en meer, die verskaffing van 'n werklik nuttig navraag meganisme om uit te brei in jou ontdekking en data profilering ervaring.
• Die opsie navraag is ook beskikbaar deur 'n web diens aan die monitering van die gebruikers met die ADMIN rol. Die navraag word verskaf as 'n HTTP POST parameter of liggaam, en die resultaat is verskaf as 'n XHTML tafel.
• Value Matcher - 'n nuwe analise opsie:
• Dikwels het jy 'n firma idee oor watter waardes moet toegelaat word en sal na verwagting vir 'n spesifieke veld. In DataCleaner daar is altyd die ontleding opsie Value Distribution wat sal help om jou aannames te laat geld nie. In DataCleaner 3,1 alhoewel, jy het 'n meer akkurate offer - die Value Matcher. Hierdie analise opsie kan jy 'n stel van verwagte waardes spesifiseer en dan voer 'n waarde verspreiding soos analise, spesifiek om te bevestig en identifiseer onverwagte waardes.
• Kopiëring, die verwydering en bestuur van werk:
• Bestuur van werk en die resultate in die DataCleaner monitor aansoek is aansienlik verbeter. Jy kan nou op 'n werk in die Skedulering bladsy van die monitor, en vind bestuur opsies wat beskikbaar is vir operasies soos herbenaming, kopiëring, verwyder en nog baie meer. Elke operasie respekteer die skakeling met ander artefakte in die monitor, soos ontleding resultate, skedules en nog baie meer. Dit beteken dat die bestuur van die monitering repository 'n baie makliker en volwasse geword het.
• Bestuur gehalte data geskiedenis:
• Soms is jy in die gesig staar situasies waar jy eintlik wil monitering doen met historiese data! Dit kan wees dat jy historiese stortingsterreine of rugsteun van databasisse, wat jy wil om te wys en te vertel die verhaal van. Jy kan nou die ontleding van hierdie historiese data, laai dit op die DataCleaner monitor, en die gebruik van 'n nuwe web diens, stel 'n historiese data van daardie spesifieke ontleding gevolg. Dit beteken dat jou tydlyne behoorlik die resultate sal stip met behulp van hul beoogde datum, maar met die resultate wat jy dalk het ingesamel op 'n later stadium.
• Gegroepeer skeduleerder ondersteuning (slegs EE):
• Die skeduleerder van DataCleaner monitor is externalized, sodat dit kan vervang word deur die middel van 'n eenvoudige opset. In die Enterprise Edition (EE) van DataCleaner, bied ons 'n cluster skeduleerder, die verskaffing van die vermoë om balans te laai en versprei jou teregstellings oor 'n groep van masjiene.
• Enkellopend-signon (SSO) met behulp van CAS (EE net):
• In die Enterprise Edition (EE) van DataCleaner ons verskaf nou 'n enkel-signon opsie vir die toepassing monitor. Nou DataCleaner kan 'n geïntegreerde deel van jou IT-infrastruktuur, ook sekuriteit-wyse wees.
• ... En 'n baie meer: ​​
• Die bogenoemde is net 'n opsomming. Meer as dertig kwessies opgelos in hierdie weergawe. Ons het opgelos verskeie versoeke vanuit die forums en gemeenskap, en ons moedig almal om hierdie medium gebruik as 'n voertuig vir 'n verandering. Ons is baie gelukkig om die ontwikkeling van DataCleaner swaar beïnvloed word deur die strome in die gemeenskap.

Wat is nuut in die weergawe 3.0.3:

• Voeg 'n diens vir die hernoeming werkgeleenthede in die monitering repository .
• Jy kan dit as 'n rustige toegang Web diens of interaktief in die UI.
• 'n Web diens is bygevoeg vir die verandering van die historiese datum van 'n ontleding resultaat in die monitering repository.
• Die Web aansoek verenigbaar met nalatenskap JSF houers gemaak.
• Caching van opset in die Web aansoek aansienlik verbeter, wat lei tot vinniger bladsy laai en werk inisialisering keer.

Wat is nuut in die weergawe 3.0.2:

• Wanneer verwek 'n werk in die monitering web aansoek, die paneel outomaties bygewerk elke tweede tot die jongste stand van die uitvoering te kry.
• -lêer gebaseer argiewe (soos CSV of Excel sigblaaie) met absolute paaie is nou korrek opgelos in die monitering web-program.
• Die & quot; Kies uit sleutel / waarde kaart & quot; transformator ondersteun nou geneste kies uitdrukkings soos & quot; Address.Street & quot; of & quot; bestellingen [0] .product.name & quot;.
• Die tabel lookup meganisme is geskik vir prestasie, met behulp bereid state toe hardloop teen JDBC databasisse.
• Administrateurs kan nou-lêer gebaseer argiewe aflaai direk van die & quot; argiewe & quot; bladsy.
• Uitsondering hantering in die monitering web aansoek is verbeter 'n bietjie, maak die fout boodskappe meer akkurate en intuïtief.