Wget meistern und ein paar nette Download-Tricks lernen

Manchmal reicht es nicht aus, eine Website lokal über Ihren Browser zu speichern. Manchmal brauchst du etwas mehr Kraft. Dafür gibt es ein nettes kleines Befehlszeilentool namens Wget. Wget ist ein einfaches Programm, das Dateien aus dem Internet herunterladen kann. Vielleicht wissen Sie nicht viel über Wget, aber nachdem Sie diesen Artikel gelesen haben, können Sie ihn für alle möglichen Tricks verwenden.

Wget ist für die native Verwendung in UNIX- und Windows-Befehlszeilen verfügbar. Es ist jedoch möglich, Wget unter Mac OS X zu installieren. So erhalten Sie Wget für Ihren Mac. So erhalten Sie Wget für Ihren Mac. Macs sind mit ihrer übersichtlichen Benutzeroberfläche und einem Unix-Gerät großartig -Ende. Manchmal hat man das Gefühl, dass man damit fast alles anfangen kann. Bis Sie eines Tages versuchen, etwas Einfaches zu tun, und Sie… Lesen Sie mehr mit ein bisschen Überredung. Sobald Sie wissen, mit welchen Dingen Sie Wget verwenden können, ist es für jedes Betriebssystem, das Sie verwenden, portierbar - und das ist praktisch. Noch besser ist, dass wget in Batch-Dateien und Cron-Jobs verwendet werden kann. Hier sehen wir die wirkliche Kraft hinter wget.

Basic Wget

Die grundlegende Verwendung ist wget-URL.

 wget http://makeuseof.com/

Die einfachsten Optionen, die die meisten Leute wissen müssen, sind Hintergrundinformationen (wget -b), partiellen Download fortsetzen (wget -c), Anzahl der Versuche (wget -tries = NUMBER) und natürlich Hilfe (wget -h) um sich an alle Möglichkeiten zu erinnern.

wget -b -c --tries = NUMBER URL

Moderat erweiterte Wget-Optionen

Wget kann auch im Hintergrund laufen (wget -b), begrenzen Sie die Downloadgeschwindigkeit (wget -limit-rate = GESCHWINDIGKEIT), kein Elternteil, um sicherzustellen, dass Sie nur ein Unterverzeichnis herunterladen (wget -np), nur geänderte Dateien aktualisieren (wget -N), eine Site spiegeln (wget -m), stellen Sie sicher, dass keine neuen Verzeichnisse erstellt werden (wget -nd), akzeptieren Sie nur bestimmte Erweiterungen (wget -accept = LIST) und eine Wartezeit einstellen (wget -wait = SECONDS).

wget -b --limit-rate = GESCHWINDIGKEIT -np -N -m -nd --accept = LIST --wait = SEKUNDEN-URL

Herunterladen mit Wget rekursiv

Sie können rekursiv herunterladen (wget -r), Hosts auf andere Domänen (wget -H), konvertieren Sie Links in lokale Versionen (wget -convert-links) und legen Sie die Rekursionsstufe fest (wget -level = NUMBER mit inf oder 0 für unendlich).

Einige Sites möchten jedoch nicht, dass Sie rekursiv herunterladen, und prüfen, welchen Browser Sie verwenden, um den Bot zu blockieren. Um dies zu umgehen, deklarieren Sie einen Benutzeragenten wie Mozilla (wget -user-agent = AGENT).

wget -r -H --convert-links --level = NUMBER --user-agent = AGENT-URL

Passwortgeschütztes Wget

Es ist möglich, den Benutzernamen und das Kennwort für eine bestimmte URL während der Verwendung von wget anzugeben (wget -http-user = USER -http-password = PASS). Dies wird auf gemeinsam genutzten Computern nicht empfohlen, da jeder, der die Prozesse betrachtet, das Kennwort im Klartext sehen kann.

wget --http-user = USER --http-password = PASS-URL

Ein Beispiel hierfür ist die Verwendung von wget zum Sichern Ihrer Aufgaben von Remember The Milk. Beste Tipps für Ihre RememberTheMilk-Aufgaben. Beste Backup-Tipps für Ihre RememberTheMilk-Aufgaben. Viele von uns, die in der Cloud arbeiten, sind gekommen ziemlich stark auf unsere Lieblingsdienste setzen. Wir lieben und vertrauen ihnen manchmal auch etwas mehr, als wir zuweilen tun sollten .

Wget Bulk-Download

Erstellen Sie zuerst eine Textdatei aller URLs, die Sie mit wget herunterladen möchten, und rufen Sie sie auf wget_downloads.txt. Geben Sie dann den folgenden Befehl ein, um URLs in großen Mengen herunterzuladen:

wget -i wget_downloads.txt

Cool verwendet für Wget

Dadurch wird eine Website gecrawlt und eine Protokolldatei der fehlerhaften Links erstellt:

wget --spider -o wget.log -e Roboter = aus --wait 1 -r -p http://www.mysite.com/

Dies nimmt eine Textdatei Ihrer Lieblingsmusik-Blogs und lädt alle neuen MP3-Dateien herunter:

wget -r --level = 1 -H --timeout = 1 -nd -N -np --accept = mp3 -e Roboter = aus -i musicblogs.txt

Wofür verwenden Sie wget noch??

Bildnachweis: Social-Media-Verbindung über ShutterStock, Junger Mann über Shutterstock vor dem Fernseher, Globus über Shutterstock

Erfahren Sie mehr über: Download-Management, Offline-Browsing.