DedupeCopy

DedupeCopy is 'n eenvoudige multi-threaded lêer kopie instrument is ontwerp vir die konsolidasie en herstrukturering gespartel lêer stelsels.
Die mees algemene gebruik geval is vir back-up data in 'n nuwe uitleg, ignoreer gedupliseer lêers.
Ander gebruike sluit in:
& Nbsp; 1. Hoe om 'n CSV-lêer beskryf alle gedupliseer lêers
& Nbsp; 2. Vergelyk die verskillende lêer stelsels
& Nbsp; 3. Herstrukturering bestaande stelle van lêers in verskillende uitlegte (soos gesorteer volgens uitbreiding of die laaste wysiging tyd)
Hierdie instrument is * nie * 'n Robocopy of rsync vervanging en nie probeer om die rol te vervul wat die spel.
Soos met al die kode wat loop 'n lêer boom, gebruik asseblief versigtig en verwag absoluut geen waarborg!
Opdrag voorbeelde:
& Nbsp; Genereer 'n duplikaat dossier verslag vir 'n pad:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p / Gebruikers / r dupes.csv -M openbaar
& Nbsp; Kopieer al * .jpg lêers uit verskeie paaie na 'n /YYYY_MM/*.jpg struktuur
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p C: pics p D: pics -e jpg -R jpg: mtime-c X: foto's
& Nbsp; Kopieer alle lêers van twee dryf tot 'n enkele teiken, die behoud van die pad vir
& Nbsp; al uitbreidings:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p C: p D: -c X: -M X: openbaar -R *: no_change
& Nbsp; Hervat 'n onderbreek run (met die aanvaarding "-M openbaar" gebruik in voor run):
& Nbsp; & nbsp; & nbsp; dedupe_copy.py p / Gebruikers / r dupes_2.csv -i openbaar -M openbaar
Agtermekaar verskillende bronne afskryf in dieselfde teiken, nie duplikaat lêers (2 bronne en 1 teiken) kopiëring:
& Nbsp; & nbsp; & nbsp; 1.) Eerste rekord manifesteer vir alle toestelle
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p \ teiken share -M target_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p \ source1 share -M source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p \ source2 share -M source2_manifest
& Nbsp; & nbsp; & nbsp; 2.) Kopieer elke bron aan die teiken (spesifiseer --compare so manifesteer uit
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; ander bronne is gelaai, maar nie gebruik word as deel van die stel om te kopieer en
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --no-stap re-scan van die bron te slaan):
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p \ source1 share-c \ teiken share -i source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source2_manifest --compare target_manifest & nbsp; --no-stap
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p \ source2 share-c \ teiken share -i source2_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source1_manifest --compare target_manifest --no-stap
Volledige voorbeeld:
& Nbsp; & nbsp; & nbsp;
& Nbsp; & nbsp; & nbsp; Veronderstel jy met 'n stel van lêers soos volg uitgelê begin:
& Nbsp; & nbsp; & nbsp; C:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; foto's
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; some_photos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; D:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; foto's
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; copied_photo
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
& Nbsp; & nbsp; & nbsp; En jy loop die opdrag:
& Nbsp; & nbsp; & nbsp; > Dedupe_copy.py p C: pics p D: pics -e jpg -R jpg: mtime-c X: foto's
Jy sal eindig met die volgende (photo3.jpg was 'n ware duplikaat):
& Nbsp; & nbsp; & nbsp; X:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; foto's
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_08
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_09
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
Hierdie projek is op bitbucket: http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

• Python