Dublettensuche - speziell (??)

Diskutiere Dublettensuche - speziell (??) im Software Allgemein Forum im Bereich Software Allgemein; Hallo, ich habe immer mal wieder folgende Aufgabe zu lösen: - ich bekomme einen Datenträger mit, sagen wir 1000 Dateien in verschiedenen...
#1
J

jwka

Threadstarter
Dabei seit
18.07.2008
Beiträge
242
Hallo,

ich habe immer mal wieder folgende Aufgabe zu lösen:

- ich bekomme einen Datenträger mit, sagen wir 1000 Dateien in verschiedenen Unterverzeichnissen.

- diese Dateiuen sollen darauf überprüft werden, ob sie in einem Zielbereich ("Bestand") - der aber eine ANDERE Verzeichnisstruktur haben kann und einige Dateien auch UMBENANNT sein können - schon existieren.

- Bei Bildern soll dies zusätzlich auf rotierte Bilder überprüft werden


Vom Prinzip her müßte das Programm, welches ich suche:
1.) einen Fingerprint für jede Datei des Bestands machen
2.) einen Fingerprint für jede Datei auf dem neuen Datenträger (den ich lokal auf die Festplatte 1:1 kopiert habe) erstellen, bei Bilddateien temporär die drei möglichen Rotationen berechnen und dafür ebenfall Fingerprint(s) anlegen
3.) Alle Fingerprints der neuen Dateien gegen alle Fingerprints des Bestands checken
4.) Eine Liste aller NICHT existierenden Dateien und eine der (potenziell) existierenden erstellen

Für 4.) wäre mir sogar am liebsten, wenn die EXISTIERENDEN neuen Dateien in eine Verzeichnisstruktur analog zum Bestand gebracht würden.

Kennt jemand so eine Lösung?

1000 Dank für Eure Hilfe
 
#2
P

Pater Born

Dabei seit
19.03.2007
Beiträge
1.163
Vom Prinzip her müßte das Programm, welches ich suche:
1.) einen Fingerprint für jede Datei des Bestands machen
2.) einen Fingerprint für jede Datei auf dem neuen Datenträger (den ich lokal auf die Festplatte 1:1 kopiert habe) erstellen, bei Bilddateien temporär die drei möglichen Rotationen berechnen und dafür ebenfall Fingerprint(s) anlegen
3.) Alle Fingerprints der neuen Dateien gegen alle Fingerprints des Bestands checken
Hallo jwka,

für Deine Punkte 1-3 ist - bis auf die Rotationsgeschichte - z.B. CloneSpy geeignet. Damit lassen sich zwei Pools (z.B. "Neu" und "Bestand") auf doppelte Dateien hin untersuchen oder auch gleich bereinigen.

Wenn die "identischen, doppelten Dateien" bereinigt sind, könntest Du dann in einem zweiten Schritt mit einem Spezialtool gezielt nach rotierten Bildern suchen. Hierfür kenne ich aber leider kein geeignetes Programm.

Um Punkt 4 beurteilen zu können, sollten wir noch wissen, wie die die Bestandsstruktur aufgebaut ist. Für alphabetisch oder nach Datum aufgebaute Verzeichnisstrukturen gibt es z.B. FileSieve.

Viele Grüße

Pater Born
 
#3
P

PC_Novize

Dabei seit
25.04.2017
Beiträge
5
Eine Super-Frage, auf die ich leider keine Antwort kenne, aber an den möglichen Lösungen sehr interessiert wäre.

Ich benutze oft das Tool WinMerge , welches zwar Dateien/Ordner und die Inhalte vergleichen kann aber leider identische Ordnerstruktur voraussetzt und schon gar nicht die Rotation der jpegs berücksichtigt.

Kennt hier vielleicht jemand so ein Tool?

Viele Grüße

Edit: Da hat Pater Born ja schon geantwortet, während ich noch beim Tippen war. CloneSpy hört sich gut an, danke Dir.
 
#4
J

jwka

Threadstarter
Dabei seit
18.07.2008
Beiträge
242
Danke für die schnelle und ausführliche Re.

Noch eine FRage, bevor ich CloneSpy ausprobiere:

Kennst Du AllDup? Das habe ich bereits ausprobiert aber das Problem dort ist, dass es eine Syssiphus-Aufklapp-Arbeit ist, die Dubletten dann tatsächlich aus dm Fundus "neu" auszusortieren.

Das kommt wohl daher, dass AllDup einen kompletten "all in" Vergleich durchführt und so auch (evtl. gewollte) Duplikate oder sehr ähnliche Bilder im Bestand aufführt.

Ideal wäre, wenn CloneSpy tatsächlich die neuen Dateien als Basis nimmt und NUR diese gegen den Bestand checkt, und dann auch - ausgehend vom "neu" die Duplikate listet.

Wie wird das bei CloneSpy gemacht?

Danke für Deine Mühe!
 
#5
P

Pater Born

Dabei seit
19.03.2007
Beiträge
1.163
Hallo jwka,

AllDup kenne ich leider nicht.

Ideal wäre, wenn CloneSpy tatsächlich die neuen Dateien als Basis nimmt und NUR diese gegen den Bestand checkt, und dann auch - ausgehend vom "neu" die Duplikate listet.

Wie wird das bei CloneSpy gemacht?
Anbei ein Anwendungsbeispiel:
BeispielSettings.jpg

Lade über "File-Settings-Load Settings" die angehängte Datei "BeispielSettings.cst".

Lege auf Laufwerk D: zum Testen die beiden Ordner "Neu" und "Bestand" an und kopiere zum Ausprobieren ein Paar von Deinen Dateien/Ordnern in diese beiden Ordner.

Wenn Du anschließend auf "Start scanning" klickst, führt das Programm drei Schritte aus:
  1. Erstellen der Checksummen aller Dateien in Pool 1
  2. Erstellen der Checksummen aller Dateien in Pool 2
  3. Löschen aller Duplikate nur in Pool 1 (also nur im Ordner "Neu" und dessen Unterverzeichnissen)
Wenn Du zunächst nur wissen möchtest, welche Dateien "doppelt" sind, kannst Du Dir eine Liste erstellen lassen, indem Du statt

"Automatically delete only in Pool 1"
"Export a list of all equal files" aktivierst.

Viele Grüße

Pater Born
 

Anhänge

Zuletzt bearbeitet:
#6
J

jwka

Threadstarter
Dabei seit
18.07.2008
Beiträge
242
SUPER! das scheint's zu sein 1000 Dank!
 
Thema:

Dublettensuche - speziell (??)

Dublettensuche - speziell (??) - Ähnliche Themen

  • Spezielle Berechtigung nur mit löschen als angemeldeter User

    Spezielle Berechtigung nur mit löschen als angemeldeter User: Hallo Liebe Community, Ich habe folgendes Problem mit meinem Windows, Nach einer Standard Installation von Windows 10 Pro per USB Stick wird mir...
  • AMD Radeon Software Adrenalin Edition 18.4.1 speziell für das Windows 10 April 2018 Update ausgeroll

    AMD Radeon Software Adrenalin Edition 18.4.1 speziell für das Windows 10 April 2018 Update ausgeroll: Kurz nachdem Microsoft am Montag dieser Woche den Download des Windows 10 April 2018 Update ganz offiziell freigegeben hat, legt AMD mit der...
  • Spezielles zu Partitionierung mit Windows 10-Bordmitteln

    Spezielles zu Partitionierung mit Windows 10-Bordmitteln: Neuer (englischsprachiger) PC vor der Tür mit C: SSD und D: HDD 1 TB. Letztere aufzuteilen in 5 Simple Volumes mit je ca. 200 GB. Frage: Ist es...
  • Mehrere Fragen zum Microsoft-Konto, speziell zur digitalen Lizenz

    Mehrere Fragen zum Microsoft-Konto, speziell zur digitalen Lizenz: Hallo in die Runde! Ich habe eine Frage bezüglich der Microsoft-Konten und der digitalen Lizenz, die ich durch Win7 Upgrades erhalten habe...
  • kann ich über den Geräte Manager alle Treiber aktualisieren oder muß ich ein spezielles Treiber Prog

    kann ich über den Geräte Manager alle Treiber aktualisieren oder muß ich ein spezielles Treiber Prog: Kann ich über den Geräte Manager meine Treiber aktualisieren oder muss ich ein spezielles Treiber Programm für mein Window 10 plus kaufen ?
  • Ähnliche Themen

    Oben