Dublettensuche - speziell (??)

Diskutiere Dublettensuche - speziell (??) im Software Allgemein Forum im Bereich Software Forum; Hallo, ich habe immer mal wieder folgende Aufgabe zu lösen: - ich bekomme einen Datenträger mit, sagen wir 1000 Dateien in verschiedenen...
J

jwka

Threadstarter
Dabei seit
18.07.2008
Beiträge
254
Hallo,

ich habe immer mal wieder folgende Aufgabe zu lösen:

- ich bekomme einen Datenträger mit, sagen wir 1000 Dateien in verschiedenen Unterverzeichnissen.

- diese Dateiuen sollen darauf überprüft werden, ob sie in einem Zielbereich ("Bestand") - der aber eine ANDERE Verzeichnisstruktur haben kann und einige Dateien auch UMBENANNT sein können - schon existieren.

- Bei Bildern soll dies zusätzlich auf rotierte Bilder überprüft werden


Vom Prinzip her müßte das Programm, welches ich suche:
1.) einen Fingerprint für jede Datei des Bestands machen
2.) einen Fingerprint für jede Datei auf dem neuen Datenträger (den ich lokal auf die Festplatte 1:1 kopiert habe) erstellen, bei Bilddateien temporär die drei möglichen Rotationen berechnen und dafür ebenfall Fingerprint(s) anlegen
3.) Alle Fingerprints der neuen Dateien gegen alle Fingerprints des Bestands checken
4.) Eine Liste aller NICHT existierenden Dateien und eine der (potenziell) existierenden erstellen

Für 4.) wäre mir sogar am liebsten, wenn die EXISTIERENDEN neuen Dateien in eine Verzeichnisstruktur analog zum Bestand gebracht würden.

Kennt jemand so eine Lösung?

1000 Dank für Eure Hilfe
 
P

Pater Born

Dabei seit
19.03.2007
Beiträge
1.163
Vom Prinzip her müßte das Programm, welches ich suche:
1.) einen Fingerprint für jede Datei des Bestands machen
2.) einen Fingerprint für jede Datei auf dem neuen Datenträger (den ich lokal auf die Festplatte 1:1 kopiert habe) erstellen, bei Bilddateien temporär die drei möglichen Rotationen berechnen und dafür ebenfall Fingerprint(s) anlegen
3.) Alle Fingerprints der neuen Dateien gegen alle Fingerprints des Bestands checken

Hallo jwka,

für Deine Punkte 1-3 ist - bis auf die Rotationsgeschichte - z.B. CloneSpy geeignet. Damit lassen sich zwei Pools (z.B. "Neu" und "Bestand") auf doppelte Dateien hin untersuchen oder auch gleich bereinigen.

Wenn die "identischen, doppelten Dateien" bereinigt sind, könntest Du dann in einem zweiten Schritt mit einem Spezialtool gezielt nach rotierten Bildern suchen. Hierfür kenne ich aber leider kein geeignetes Programm.

Um Punkt 4 beurteilen zu können, sollten wir noch wissen, wie die die Bestandsstruktur aufgebaut ist. Für alphabetisch oder nach Datum aufgebaute Verzeichnisstrukturen gibt es z.B. FileSieve.

Viele Grüße

Pater Born
 
P

PC_Novize

Dabei seit
25.04.2017
Beiträge
5
Eine Super-Frage, auf die ich leider keine Antwort kenne, aber an den möglichen Lösungen sehr interessiert wäre.

Ich benutze oft das Tool WinMerge , welches zwar Dateien/Ordner und die Inhalte vergleichen kann aber leider identische Ordnerstruktur voraussetzt und schon gar nicht die Rotation der jpegs berücksichtigt.

Kennt hier vielleicht jemand so ein Tool?

Viele Grüße

Edit: Da hat Pater Born ja schon geantwortet, während ich noch beim Tippen war. CloneSpy hört sich gut an, danke Dir.
 
J

jwka

Threadstarter
Dabei seit
18.07.2008
Beiträge
254
Danke für die schnelle und ausführliche Re.

Noch eine FRage, bevor ich CloneSpy ausprobiere:

Kennst Du AllDup? Das habe ich bereits ausprobiert aber das Problem dort ist, dass es eine Syssiphus-Aufklapp-Arbeit ist, die Dubletten dann tatsächlich aus dm Fundus "neu" auszusortieren.

Das kommt wohl daher, dass AllDup einen kompletten "all in" Vergleich durchführt und so auch (evtl. gewollte) Duplikate oder sehr ähnliche Bilder im Bestand aufführt.

Ideal wäre, wenn CloneSpy tatsächlich die neuen Dateien als Basis nimmt und NUR diese gegen den Bestand checkt, und dann auch - ausgehend vom "neu" die Duplikate listet.

Wie wird das bei CloneSpy gemacht?

Danke für Deine Mühe!
 
P

Pater Born

Dabei seit
19.03.2007
Beiträge
1.163
Hallo jwka,

Kennst Du AllDup?
AllDup kenne ich leider nicht.

Ideal wäre, wenn CloneSpy tatsächlich die neuen Dateien als Basis nimmt und NUR diese gegen den Bestand checkt, und dann auch - ausgehend vom "neu" die Duplikate listet.

Wie wird das bei CloneSpy gemacht?
Anbei ein Anwendungsbeispiel:
BeispielSettings.jpg

Lade über "File-Settings-Load Settings" die angehängte Datei "BeispielSettings.cst".

Lege auf Laufwerk D: zum Testen die beiden Ordner "Neu" und "Bestand" an und kopiere zum Ausprobieren ein Paar von Deinen Dateien/Ordnern in diese beiden Ordner.

Wenn Du anschließend auf "Start scanning" klickst, führt das Programm drei Schritte aus:
  1. Erstellen der Checksummen aller Dateien in Pool 1
  2. Erstellen der Checksummen aller Dateien in Pool 2
  3. Löschen aller Duplikate nur in Pool 1 (also nur im Ordner "Neu" und dessen Unterverzeichnissen)
Wenn Du zunächst nur wissen möchtest, welche Dateien "doppelt" sind, kannst Du Dir eine Liste erstellen lassen, indem Du statt

"Automatically delete only in Pool 1"
"Export a list of all equal files" aktivierst.

Viele Grüße

Pater Born
 

Anhänge

  • BeispielSettings.zip
    725 Bytes · Aufrufe: 31
Zuletzt bearbeitet:
Thema:

Dublettensuche - speziell (??)

Dublettensuche - speziell (??) - Ähnliche Themen

Windows 10 Systemabbild mit Bitlocker: Hallo zusammen, um mich gegen plötzlichen Systemverlust bei Festplattenausfall zu schützen, überlege ich regelmäßig ein Systemabbild zu...
Windows Ordner "Eigene Dateien" nach Pfad Änderung und Verschieben immer wieder doppelt vorhanden: Hallo zusammen! Ich habe eine Frage und möchte Euch eine langjährige unliebsame Situation schildern. Ein neues Notebook mit...
Windows 10 1803 nach Juli 2018 Patch, Netzwerkfreigaben des Hauptrechners nach jedem PC-Start inakti: Windows 10 1803 nach Juli 2018 Patch, Netzwerkfreigaben des Hauptrechners nach jedem PC-Start inaktiv. Wer weiß eine Lösung? Ich habe ein...
Manueller Aufruf über die Befehlszeile \\"COMPUTER": Sorry, aber wie funktioniert den der manuelle Aufruf über die Befehlszeile \"COMPUTER" ??? Finde nur untenstehende Befehle ... ASSOC...
ERROR-Stopcode,System_service_Exeption: Win32kfull.sys: Guten Tag. Diese Meldung steht auf meinem PC Schirm. Ein Bild mitwuselzeichen dabei, diesen Code kann ich NICHT lesen! Weitergeben! Was...
Oben