FileDownloader

[Fix]

Vielleicht kanns ja wer brauchen. Ist aber wirklich sehr rudimentär und "unfertig",
aber für meinen Zweck reichts.
Hab ich gestern Abend angefangen, um von einem Server unzählige durchnummerierte Files herunterzuladen.
Gedacht waren auch noch mehrere Counter mit versch. Formaten, falls auch noch verschiedene Ordner die verschiedenen Files beinhalten.
War mir aber zu blöd im Mom., da ichs nicht brauche.

 

[luffi]

Das ist super! Ich hatte vor Jahren mal sowas angedacht, auch mit Buchstaben a-z und führenden Nullen bei Bedarf. Ist aber nix fertiges geworden. Kann Dir aber trotzdem den Quellcode als "Ideenpool" raussuchen, wenn Du willst.

Edit: Ich hoffe Dein Teil ist dann Freeware -> luffi?

 

[Fix]

hallo!
lol, wie lange ist das denn schon her... ^^ (edit: noch gar nicht soooo extrem lange wie ich sehe)

gerne, auch wenn ich momentan überhaupt keine zeit habe.

buchstaben, führende nullen etc. gehen hier ja alles. du kannst ja einen beliebigen string mit url, pfad und dateiname angeben.
momentan hast du einfach erst 1 variablen zahlencounter, den du aber dafür soweit ich das sehe/mich erinnere an verschiedenen stellen mehrmals verwenden kannst.

habe damit dazumals etwa 2500 dateien von einem server heruntergeladen, wenn ich mich recht erinnere.
und nein keine illegalen dateien sondern cartoons für den eigengebrauch :P

wenn du's prog anschaust siehst du auch, dass zahlen und mehrere counter schon angedacht waren. hab es einfach mangels zeit gelassen, da die file auf dem server nur numeriert waren.

p.s. wenn es ein file nicht gibt versucht das tool einfach die nächste datei runterzuladen, bis der counter endwert erreicht ist.

p.p.s. feedback wäre cool, ob das schon jemand gebraucht hat. wurde ja immerhin schon einige mal runtergeladen

 

[dlonra]

lynx -listonly -dump "http:\\www.Example.html"  | awk -F' ' '{print $2}' > AlleLinks
lynx -listonly -dump "http:\\www.Example.html" | grep pdf | awk -F' ' '{print $2}' > AllePDFLinks
lynx -listonly -dump "http:\\www.Example.html" | grep doc  | awk -F' ' '{print $2}' > AlleDocLinks

Linux Power
In die Ausgabe datei einfach überall vorne
wget -c
Schreiben und ganz oben #!/bin/bash

Wenn alles in eine Datei soll einfach oben die > mit >> ersetzen.
Ein > leert die Datei erst und >> fügt an die Datei an

 

[Fix]

@luffi: ich glaube nicht, dass man ein solch kleines prog überhaupt verkaufen könnte

@dlonra: ich verstehe jetzt dein listing nicht genau, aber wenn ich's richtig sehe, macht das nicht genau dasselbe.
bei meinem tool war die idee, dass ich (lückenhaft) durchnumerierte files von einem verzeichnis auf einem webserver herunterladen konnte.

 

[dlonra]

Ich lebe ja mit meinem Linux eh hinterm Mond.
Hab nur Handy Internet
Hast du interesse an einem Java Downloader fürs Handy.
Ich habs geschafft den "dmmobile.jar" Downloader mittels Script zu entpacken und eine Download-liste zu implementieren.

Es gibt hier eine Hotspot bei T.Punkt. 1MBit/s schafft das Handy.
Der Akku hält erstaunlich lange.

 

[dlonra]

@Fix

Bei mir geht es nicht auf XP.
Mit was ist das programmiert??
Vielleicht solltest du beim BUILDEN die Librarys einbinden.
Die EXE ist auch auffällig klein
Visual Studio??

 

[Teppichfritz]

Geht da nicht auch J Downloader?

 

[luffi]

Es geht um das Aufbauen der Dateiliste. Wenn Du z.B. weisst, dass Dateien abc001.jpg, abc002.jpg, abc003.jpg usw. an einer bestimmten Stelle existieren und diese runterladen möchtest. Du weisst, dass es bis abc050.jpg geht und magst nicht manuell alle Dateien angeben und es gibt auch keine "Ankündigungsseite" auf der alle verlinkt sind und Du klickst auf downthemall z.b. . Dann wäre es doch praktisch, wenn Dir ein Tool die Möglichkeit gibt nur 1-50 anzugeben und die Downloadliste wird dir erzeugt. Genau das macht das Teil für Dich.

 

[Teppichfritz]

War nur so ein Gedanke aus dem Bauch heraus.
Mein Sohn verwendet den beispielsweise,wenn eine Datei in 100 rar Dateien aufgeteilt ist.
Einfach auf alle,und ab.Selbst hab ich mich damit noch nicht beschäftigt.

 

[Fix]

@dlnora: verstehe deinen ersten post nicht ganz, wie ernst oder ironisch da was gemeint ist.
von was du da genau sprichst weiss ich auch nicht. auf jeden fall brauch ich keinen downloader für's handy. zu hause hab ich nun 25mbit/s und "unbegrenzt traffic" im gegensatz zum handy.
linux käme für mich nicht in frage aus zwei bis drei einfachen gründen:
- ich habe keinen bock, für alles mögliche zu basteln, bis es dann vielleicht endlich einmal läuft
- ich will aktuelle games zocken ohne probleme mit den aktuellsten (grafik) features und da fällt linux sowieso schon mal weg. für etwas hab ich auch so einen "monster pc"
- ich kenne diverseste tools und programme, an die ich mich gewöhnt habe und die es unter linux so nicht gibt bzw. müsste da wieder suchen und mich an neues gewöhnen.

das tool ist übrigens programmiert mit visual basic .net. wie du geraten hast in visual studio. wahrscheinlich .net 3.5, weiss ich nicht mehr so genau.
hast du kein .net runtime unter xp? dachte, darum kommt man mittlerweile eh gar nicht mehr drum rum.
was passiert denn, wenn du's startest?

wenn du ein einfaches kleines gui programm in c++ programmierst ist das richtig gemacht doch auch nur wenige bis einige dutzen kb vlt...!?

@teppichfritz: jdownloader ist ein downloadtool, in das du eine linkliste oder containerdateien oder direkt über click&load direkt eine downloadliste hinzufügen kannst, um dann meist (bei euch in der eu illegale ) dateien herunterzuladen,
die oft in viele dutzend rar parts aufgesplittet sind, und die das tool dann sogar noch selbst entpackt.
das hat mit dem tool hier aber nichts zu tun. hier gehts darum, wie luffi richtig gesagt habe, einfach z.b. den inhalt eines verzeichnises auf einem webserver oder auch mehrerer automatisiert herunterzuladen (bei durchnumeriertem content).
habe damit wie oben bereits erwähnt weit über tausend dateien von einem webserver geladen. von hand wäre das sehr aufwändig gewesen. alle einzeln durchprobieren und dann hatte es teilweise noch grosse lücken in der nummerierung.

 

[dlonra]

#!/bin/bash
zeichenfolge="abc"
extention=".txt"
serveradresse="192.178.3.1/"
anzahl=50
fertigesdownloadscript="Datei-dl.sh"

################
echo "#!/bin/bash" > "$fertigesdownloadscript"

for((i=0;i<${anzahl};i++))
do
     echo "wget -c '${serveradresse}${zeichenfolge}${i}${extention}'" >> "$fertigesdownloadscript"
done

Macht ja nix... Ich hab nicht mal den Service Pack 2
XP läuft bei mir in der Virtuellen Maschine hehehehehe...

 

[luffi]

#!/bin/bash
zeichenfolge="abc"
extention=".txt"
serveradresse="192.178.3.1/"
anzahl=50
fertigesdownloadscript="Datei-dl.sh"

################
echo "#!/bin/bash" > "$fertigesdownloadscript"

for((i=0;i<${anzahl};i++))
do
     echo "wget -c '${serveradresse}${zeichenfolge}${i}${extention}'" >> "$fertigesdownloadscript"
done

Genau! Und mit einem ähnlichen 3-Zeiler hat auch mein Script einmal angefangen und das von Fix wahrscheinlich auch. Wenn dann noch ein paar If's dazukommen und ein bisschen GUI und man dann die Sache weiterspinnt und dann noch der eine oder andere Input von div. Usern dazukommt hat man irgendwann einmal eine Version 0.1 die auch vom Superdau verwendet werden kann ...

Ich habe mir gerade meinen Source angesehen (VB 5.0) und bin so auf schlappe 400 Zeilen gekommen. Also nix Aufwändiges! Den grössten Anteil bei mir macht übrigens die "Schätz-Routine" aus, die aus dem ersten Quell-url den Rest zu erraten versucht. Da sind schon einige If's hineingelaufen ...

 

[Fix]

@dlnora: mir grauts! so ein altes windows und dann noch nicht mal das zweitaktuellste servicepack! naja ich find's lustig, dass doch praktisch jeder linux freak noch irgendwo ein virtuelles xp oder sogar ev. ein richtiges, aktuelleres windows paralell installiert hat
was hast du für ein linux?
dein code ist aber natürlich auch sehr rudimentär und nichts für *****en. und was passiert, wenns eine datei nicht gibt?

@luffi: was für eine schätz-routine? Oo

 

[luffi]

@dlnora: mir grauts! so ein altes windows und dann noch nicht mal das zweitaktuellste servicepack! naja ich find's lustig, dass doch praktisch jeder linux freak noch irgendwo ein virtuelles xp oder sogar ev. ein richtiges, aktuelleres windows paralell installiert hat
was hast du für ein linux?
dein code ist aber natürlich auch sehr rudimentär und nichts für *****en. und was passiert, wenns eine datei nicht gibt?

@luffi: was für eine schätz-routine? Oo

Also grauen muss Dir nicht, weil es hängt ja davon ab, wie er die virtuelle Maschine zum laufen bringt. Wenn er z.B. eine unveränderliche virtuelle Maschine hat, die nach jedem Neustart immer wieder zurückgesetzt wird, kann diese trotz fehlendem SR trotzdem zum Testen durchaus interessant sein.

Zum Thema "alt": Wir haben z.B. noch eine virtuelle Maschine mit Win98 startbar zum Testen, hier verweise ich auf das Thema "Abwrackspirale" hier http://www.technodoctor.de/dieabwracker.htm bzw. hier Kernelx http://kernelex.sourceforge.net/

Zum Thema "linux freak hat ein Windows": Windows ist aus der heutigen Zeit nicht mehr wegzudenken, also macht es durchaus Sinn, sich ab und an damit zu beschäftigen. Umgekehrt beschäftigen sich auch "windows freaks" immer wieder mit linux.

Sein Code ist gegenüber nicht vorhandener Files durchaus stabil, weil das für wget selbst kein Problem ist.

Meiner Schätzroutine habe ich den Url der Datei übergeben und die Routine hat dann (mehr oder weniger erfolgreich) versucht, die Liste aufzubauen. Also z.B. www-url/file001.jpg -> macht file+führende Nullen von 1 bis x, www-url/file1.jpg -> macht file-liste ohne führende Nullen von 1 bis x, www-url/file-a.wmv -> macht a-z usw. ... Die Routine ist gewachsen und wie ich schon sagte, nie wirklich fertig geworden. Es ist halt "typisch" EDV: Anfangs unterschätzt man gerne die Aufgabenstellung.

 

[luffi]

Nachtrag:

Es gab da noch eine Einstellung, wieviele weitere führende Nullen gewünscht sind.

Wäre toll, wenn's da mal ein update gäbe ...
@fix: zeit? lust?

 

[dlonra]

wget blockt eben den HttpRequest 403 aus.
Ich hab hier eine Download Adresse die geht mit Java aber nicht mit wget. Da frag ich mich eben ob der Server zwar den 403 schickt aber wenn der Downloader ihn ignoriert einfach trotzdem Downloaded.
Ist mir ehrlich gesagt noch nie aufgefallen, dass "anscheindend" es trotzdem geht, wenn der 403 http-error ignoriert wird.
Daran denkt man irgenwie auch gar nicht dran den abzufragen
Sind ja auch so viele Requeststs.

HTTP-Anforderung gesendet, warte auf Antwort...
HTTP/1.1 403 Forbidden
Last-Modified: Wed, 02 May 2007 10:26:10 GMT
Content-Type: text/plain
Connection: close
X-Content-Type-Options: nosniff
Date: Wed, 22 Feb 2012 12:14:18 GMT
Server: gvs 1.0
2012-02-22 13:14:19 FEHLER 403: Forbidden.

Seltsam

 

[luffi]

hmmm...

 

[dlonra]

hmmm...

Ich glaub es handelt sich um einmal links, die nur einmal funktionieren.
In der dekodierten Url befindet sich ein expier $post für Php der entsprechenden Seite.
Die Url wird aus der Webseite simultan rausgefrimelt und entschlüsselt so zu sagen.
Ist eine Maß Anfertigung für.

YT

 

[luffi]

Es gibt meines Wissens mehrere Möglichkeiten, warum ein derartiger Fehler ausgeworfen werden kann. Das Erstere sind fehlende Credentials, soll heißen die herunterzuladende Seite braucht eine gültige Anmeldung mit Benutzername und Passwort. Das scheint es in diesem Fall nicht zu sein. Die zweite beobachtete Möglichkeit ist eine Seitensperre mit einem Download-Token (dieser Begriff ist nicht ganz offiziell), d.h. die Seite generiert dir eine - zumeist nicht leicht zu lesende/entschlüsselnde Nummer, die du beim Download mitanzugeben hast bevor du weiter darfst.
Nicht zu unterschätzen sind auch Syntax-Fehler bei der Quell-URL, man braucht nur bei einem Sub-Pfad einmal den "/" vergessen und schon liefert dir ein standardmäßig aufgesetzter Webserver den 403er (zumeist den 404, aber mit etwas Pech...) , weil er denkt du möchtest in ein Verzeichnis das dich nichts angeht.
Ebenfalls könnte es an einem fehlenden "User-Agent" liegen, d.h. die mitgeschickte Browsersignatur passt der Zielseite nicht (kann man mit wget allerdings setzen, um z.B. einen Firefox zu "fälschen"). Last not least kann der Webserver zielseitig so eingestellt worden sein, dass zuviele Minirequests von ein und derselben IP-Adresse irgendwann mal als "Denial of service" Attacke erkannt werden und diese dann - zumindest temporär - geblockt wird.

Es gibt also viele Möglichkeiten, was schiefgehen kann - hast du auf die Serverkonfiguration Einfluß (d.h. gibt beispielsweise Log-Dateien)? Wenn es eine externe Seite ist, kannst du ja auch eine Adresse posten, dann seh ich mir die mal an...