Dublettensuche - speziell (??)

Diskutiere Dublettensuche - speziell (??) im Software Allgemein Forum im Bereich Software Forum; Hallo, ich habe immer mal wieder folgende Aufgabe zu lösen: - ich bekomme einen Datenträger mit, sagen wir 1000 Dateien in verschiedenen...
J

jwka

Threadstarter
Dabei seit
18.07.2008
Beiträge
254
Hallo,

ich habe immer mal wieder folgende Aufgabe zu lösen:

- ich bekomme einen Datenträger mit, sagen wir 1000 Dateien in verschiedenen Unterverzeichnissen.

- diese Dateiuen sollen darauf überprüft werden, ob sie in einem Zielbereich ("Bestand") - der aber eine ANDERE Verzeichnisstruktur haben kann und einige Dateien auch UMBENANNT sein können - schon existieren.

- Bei Bildern soll dies zusätzlich auf rotierte Bilder überprüft werden


Vom Prinzip her müßte das Programm, welches ich suche:
1.) einen Fingerprint für jede Datei des Bestands machen
2.) einen Fingerprint für jede Datei auf dem neuen Datenträger (den ich lokal auf die Festplatte 1:1 kopiert habe) erstellen, bei Bilddateien temporär die drei möglichen Rotationen berechnen und dafür ebenfall Fingerprint(s) anlegen
3.) Alle Fingerprints der neuen Dateien gegen alle Fingerprints des Bestands checken
4.) Eine Liste aller NICHT existierenden Dateien und eine der (potenziell) existierenden erstellen

Für 4.) wäre mir sogar am liebsten, wenn die EXISTIERENDEN neuen Dateien in eine Verzeichnisstruktur analog zum Bestand gebracht würden.

Kennt jemand so eine Lösung?

1000 Dank für Eure Hilfe
 
P

Pater Born

Dabei seit
19.03.2007
Beiträge
1.163
Vom Prinzip her müßte das Programm, welches ich suche:
1.) einen Fingerprint für jede Datei des Bestands machen
2.) einen Fingerprint für jede Datei auf dem neuen Datenträger (den ich lokal auf die Festplatte 1:1 kopiert habe) erstellen, bei Bilddateien temporär die drei möglichen Rotationen berechnen und dafür ebenfall Fingerprint(s) anlegen
3.) Alle Fingerprints der neuen Dateien gegen alle Fingerprints des Bestands checken
Hallo jwka,

für Deine Punkte 1-3 ist - bis auf die Rotationsgeschichte - z.B. CloneSpy geeignet. Damit lassen sich zwei Pools (z.B. "Neu" und "Bestand") auf doppelte Dateien hin untersuchen oder auch gleich bereinigen.

Wenn die "identischen, doppelten Dateien" bereinigt sind, könntest Du dann in einem zweiten Schritt mit einem Spezialtool gezielt nach rotierten Bildern suchen. Hierfür kenne ich aber leider kein geeignetes Programm.

Um Punkt 4 beurteilen zu können, sollten wir noch wissen, wie die die Bestandsstruktur aufgebaut ist. Für alphabetisch oder nach Datum aufgebaute Verzeichnisstrukturen gibt es z.B. FileSieve.

Viele Grüße

Pater Born
 
P

PC_Novize

Dabei seit
25.04.2017
Beiträge
5
Eine Super-Frage, auf die ich leider keine Antwort kenne, aber an den möglichen Lösungen sehr interessiert wäre.

Ich benutze oft das Tool WinMerge , welches zwar Dateien/Ordner und die Inhalte vergleichen kann aber leider identische Ordnerstruktur voraussetzt und schon gar nicht die Rotation der jpegs berücksichtigt.

Kennt hier vielleicht jemand so ein Tool?

Viele Grüße

Edit: Da hat Pater Born ja schon geantwortet, während ich noch beim Tippen war. CloneSpy hört sich gut an, danke Dir.
 
J

jwka

Threadstarter
Dabei seit
18.07.2008
Beiträge
254
Danke für die schnelle und ausführliche Re.

Noch eine FRage, bevor ich CloneSpy ausprobiere:

Kennst Du AllDup? Das habe ich bereits ausprobiert aber das Problem dort ist, dass es eine Syssiphus-Aufklapp-Arbeit ist, die Dubletten dann tatsächlich aus dm Fundus "neu" auszusortieren.

Das kommt wohl daher, dass AllDup einen kompletten "all in" Vergleich durchführt und so auch (evtl. gewollte) Duplikate oder sehr ähnliche Bilder im Bestand aufführt.

Ideal wäre, wenn CloneSpy tatsächlich die neuen Dateien als Basis nimmt und NUR diese gegen den Bestand checkt, und dann auch - ausgehend vom "neu" die Duplikate listet.

Wie wird das bei CloneSpy gemacht?

Danke für Deine Mühe!
 
P

Pater Born

Dabei seit
19.03.2007
Beiträge
1.163
Hallo jwka,

Kennst Du AllDup?
AllDup kenne ich leider nicht.

Ideal wäre, wenn CloneSpy tatsächlich die neuen Dateien als Basis nimmt und NUR diese gegen den Bestand checkt, und dann auch - ausgehend vom "neu" die Duplikate listet.

Wie wird das bei CloneSpy gemacht?
Anbei ein Anwendungsbeispiel:
BeispielSettings.jpg

Lade über "File-Settings-Load Settings" die angehängte Datei "BeispielSettings.cst".

Lege auf Laufwerk D: zum Testen die beiden Ordner "Neu" und "Bestand" an und kopiere zum Ausprobieren ein Paar von Deinen Dateien/Ordnern in diese beiden Ordner.

Wenn Du anschließend auf "Start scanning" klickst, führt das Programm drei Schritte aus:
  1. Erstellen der Checksummen aller Dateien in Pool 1
  2. Erstellen der Checksummen aller Dateien in Pool 2
  3. Löschen aller Duplikate nur in Pool 1 (also nur im Ordner "Neu" und dessen Unterverzeichnissen)
Wenn Du zunächst nur wissen möchtest, welche Dateien "doppelt" sind, kannst Du Dir eine Liste erstellen lassen, indem Du statt

"Automatically delete only in Pool 1"
"Export a list of all equal files" aktivierst.

Viele Grüße

Pater Born
 

Anhänge

Zuletzt bearbeitet:
J

jwka

Threadstarter
Dabei seit
18.07.2008
Beiträge
254
SUPER! das scheint's zu sein 1000 Dank!
 
Thema:

Dublettensuche - speziell (??)

Dublettensuche - speziell (??) - Ähnliche Themen

  • Office365 - Outlook Contacts - Spezieller Kontaktordner per PowerShell umbenennen / löschen - Batch

    Office365 - Outlook Contacts - Spezieller Kontaktordner per PowerShell umbenennen / löschen - Batch: Hallo zusammen, ich suche nach eine Möglichkeit über unseren gesamten Tenant hinweg einen Kontaktordner mit fest definiertem Namen für alle...
  • Windows 10 mit speziellem Build

    Windows 10 mit speziellem Build: Für Windows 10-Arbeitsstationen in der Automatisierungtechnik wäre es oft notwendig, ein Windows 10 mit einem speziellen Build zu installieren...
  • Spezielle Ziffern in Französisch

    Spezielle Ziffern in Französisch: Die spezielle französischen Zeichen wie cédille und Akzent, die von der Taste alt und die Ziffern rechts der Tastatur aktiviert sind, sind...
  • Spezielle Berechtigung nur mit löschen als angemeldeter User

    Spezielle Berechtigung nur mit löschen als angemeldeter User: Hallo Liebe Community, Ich habe folgendes Problem mit meinem Windows, Nach einer Standard Installation von Windows 10 Pro per USB Stick wird mir...
  • Ähnliche Themen
  • Office365 - Outlook Contacts - Spezieller Kontaktordner per PowerShell umbenennen / löschen - Batch

    Office365 - Outlook Contacts - Spezieller Kontaktordner per PowerShell umbenennen / löschen - Batch: Hallo zusammen, ich suche nach eine Möglichkeit über unseren gesamten Tenant hinweg einen Kontaktordner mit fest definiertem Namen für alle...
  • Windows 10 mit speziellem Build

    Windows 10 mit speziellem Build: Für Windows 10-Arbeitsstationen in der Automatisierungtechnik wäre es oft notwendig, ein Windows 10 mit einem speziellen Build zu installieren...
  • Spezielle Ziffern in Französisch

    Spezielle Ziffern in Französisch: Die spezielle französischen Zeichen wie cédille und Akzent, die von der Taste alt und die Ziffern rechts der Tastatur aktiviert sind, sind...
  • Spezielle Berechtigung nur mit löschen als angemeldeter User

    Spezielle Berechtigung nur mit löschen als angemeldeter User: Hallo Liebe Community, Ich habe folgendes Problem mit meinem Windows, Nach einer Standard Installation von Windows 10 Pro per USB Stick wird mir...
  • Oben