Wget is een hulpprogramma voor de opdrachtregel waarmee bijna alles op het internet kan worden gedownload. Het probleem is dat het beschikbaar moet zijn via HTTP-, HTTPS- of FTP-protocollen; anders kan Wget het niet downloaden. Er zijn een aantal manieren waarop Wget kan worden gebruikt, bijvoorbeeld, je kunt Wget gebruiken om elke afbeelding op een website te downloaden, of je kunt ook een enkel bestand downloaden. Wget is zelfs in staat om downloads te hervatten, indien mogelijk. Dus, als je je afvraagt hoe Wget werkt, en wat het voor je kan doen, hier is hoe Wget te gebruiken :
Wget installeren
1. Installeren van Wget op macOS Sierra
Voordat we beginnen met het gebruik van Wget, moeten we het op ons systeem installeren. Nu zijn de meeste Linux-distributies gelukkig met Wget vooraf geïnstalleerd, dus je hoeft geen extra werk te doen. Als je echter een Mac gebruikt, moet je Wget installeren. Dit kan eenvoudig worden gedaan met Homebrew (download). Als u hulp nodig heeft, volgt u de stappen die u moet volgen:
- Eerst moet je Homebrew op je Mac installeren om Wget te kunnen downloaden. Om dit te doen, start u gewoon de Terminal en typt u de volgende opdracht:
/ usr / bin / ruby -e "$ (curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"
- Nadat de opdracht is voltooid, wordt Homebrew op uw systeem geïnstalleerd . U kunt nu Homebrew gebruiken om pakketten te installeren, zoals Wget. Voer in de Terminal de volgende opdracht uit:
brouw installatie wget
- Homebrew zal automatisch beginnen met het downloaden, uitpakken en installeren van Wget op uw systeem. Deze stap kan enige tijd duren, afhankelijk van uw netwerksnelheid, dus wees geduldig. Zodra de opdracht is voltooid, zou u Wget op uw Mac moeten kunnen gebruiken. Om te controleren of het is geïnstalleerd, gebruikt u gewoon de opdracht:
wget -V
2. Installeren van Wget op Windows
Het installeren van Wget op Windows kost wat meer moeite, maar het kan eenvoudig worden gedaan. Als u Wget op uw Windows-pc wilt installeren, voert u de onderstaande stappen uit:
- Download eerst Cygwin en voer vervolgens het gedownloade installatiebestand uit .
- Wanneer het om de standaard downloadbron vraagt, kiest u de optie " Installeren vanaf internet " en klikt u op "Volgende".
- Kies een installatiemap voor Cygwin en een map waarin pakketbestanden worden opgeslagen voor de installatie van hulpprogramma's.
- In het volgende scherm moet je je internetverbinding kiezen. Als u een proxy gebruikt, kiest u het type proxy dat het is en vult u de details in. Voor de meeste gebruikers is de keuze echter " Directe verbinding ".
- Je krijgt dan een lijst met mirrors te zien, kies een van deze om Cygwin te downloaden. Als het downloaden mislukt, kunt u het opnieuw proberen met een andere spiegel.
- Zoek in het volgende venster naar 'wget' en klik op de plus naast 'web' in de lijst die verschijnt. Hier wordt het selectievakje naast ' wget ' automatisch geselecteerd. Klik eenvoudig op "Volgende".
- Het volgende scherm toont u de pakketten die u moet downloaden. Klik gewoon op "Volgende".
- Nadat de installatie is voltooid, wordt u gevraagd of u een pictogram op het bureaublad wilt maken en / of een vermelding aan het startmenu wilt toevoegen . Dit is volledig een kwestie van persoonlijke voorkeur, maar ik zou willen voorstellen dat je het in ieder geval toevoegt aan het startmenu, zodat je het gemakkelijk kunt vinden.
Dat is het. Wget is nu geïnstalleerd op uw Windows-pc. U kunt het echter niet uitvoeren via de opdrachtprompt. In plaats daarvan moet u de Cygwin Terminal starten en Wget vanaf daar gebruiken .
Hoe Wget te gebruiken
Nu Wget op ons systeem is geïnstalleerd, laten we alle coole manieren verkennen waarop we Wget kunnen gebruiken om bestanden, mappen en zelfs hele websites van internet te downloaden. Hier zijn een aantal interessante dingen die je met Wget op je systeem kunt doen.
Opmerking : ik gebruik Wget op een MacBook Air met macOS Sierra 10.12.3 bèta. Omdat het hulpprogramma dat we gebruiken hetzelfde is (Wget), zullen de opdrachten hetzelfde zijn in elk besturingssysteem dat u mogelijk met Wget gebruikt.
1. Gebruik Wget om bestanden te downloaden
U kunt Wget gebruiken om gemakkelijk bestanden van internet te downloaden. Gebruik gewoon de volgende opdracht
wget
- Download een bestand en sla het op met een specifieke bestandsnaam
Bestanden op servers hebben soms de raarste namen en misschien wilt u het bestand downloaden en Wget automatisch een nieuwe naam geven voor iets dat logischer voor u is. Om dit te doen, gebruikt u gewoon de volgende opdracht
wget -o
- Download alleen specifieke bestandstypen
Een webserver host mogelijk een aantal verschillende bestanden. Dus, wat als je alleen alle pdf's op de server wilt downloaden, of misschien alle GIF's? Gebruik gewoon de volgende opdracht:
wget -r -A pdf
Deze specifieke opdracht is door Mark Zuckerberg in zijn studentenkamer in Harvard in gebruik genomen om alle afbeeldingen met slechts één opdracht te downloaden en de beruchte website "facesmash.com" te bouwen.
wget -r -A jpg, jpeg, png, bmp
2. Download bestanden van meerdere URL's met Wget
Stel dat je bestanden van verschillende locaties op internet moet downloaden. Er is mogelijk een PDF-bestand op url1, een belangrijk ZIP-bestand op url2 en iets anders in url3 . Als u Wget op de traditionele manier hebt gebruikt, moet u het drie keer uitvoeren. Er is echter een veel eenvoudigere manier om dit te doen.
- Maak eerst een bestand met alle URL's die u nodig hebt om gegevens van te downloaden. Zorg ervoor dat u elke URL op zijn eigen regel houdt . Sla het bestand op en onthoud de naam.
- Gebruik in Terminal de volgende opdracht om bestanden van alle URL's te downloaden:
wget -i
waarbij " bestandsnaam " de naam is van het bestand dat u hebt gemaakt met alle URL's die u nodig hebt om dingen te downloaden.
3. Download een volledige website met Wget
Ja, dat heb je goed gelezen. U kunt Wget ook gebruiken om de inhoud van een volledige website te downloaden. Het is duidelijk dat als de website te groot is, dit commando veel tijd kost om te voltooien, om nog maar te zwijgen van het feit dat het veel ruimte op je systeem zal opslokken. Dat gezegd hebbende, als u Wget wilt gebruiken om een volledige website te downloaden, gebruikt u gewoon de volgende opdracht:
wget --mirror -p -P ./LOCAL-DIR WEBSITE-URL
Hiermee wordt de hele website gedownload naar een map " LOCAL-DIR " in uw werkdirectory. De bestanden van de website worden opgeslagen in een map met dezelfde naam als de website, dankzij " WEBSITE-URL ".
4. Gebruik Wget als een webspider
U kunt Wget ook laten fungeren als een webcrawler (of een webspider). Dit is handig als u wilt bevestigen dat de URL voor het bestand dat u wilt downloaden geldig is . Als u Wget als een webspider wilt gebruiken en de geldigheid van URL's wilt controleren, gebruikt u gewoon de volgende opdracht:
wget --spider
Hiermee wordt gecontroleerd of de URL die u hebt genoemd, bestaat en krijgt u een antwoord met de resultaten van de controle.
- Positieve reactie:
- Negatieve reactie:
5. Ga door met onvolledige downloads
Dit is nog een heel cool ding dat Wget kan doen. Stel dat je een bestand aan het downloaden was met Wget, maar om de een of andere reden moest je je laptop afsluiten. De volgende keer dat u hetzelfde bestand wilt downloaden, kan Wget de download voor u blijven uitvoeren. U moet ervoor zorgen dat u de vorige keer in dezelfde map bent waar u het bestand aan het downloaden was en gebruikt dan de volgende opdracht:
wget -c
Wanneer Wget ziet dat een deel van het bestand al in uw systeem aanwezig is, zal het automatisch de download voortzetten.
Opmerking : als het bestand op de server is gewijzigd sinds u het voor de laatste keer probeerde te downloaden, moet u deze opdracht niet gebruiken, omdat dit resulteert in een beschadigd bestand dat u niet kunt lezen.
Als de server verdergaan met downloads niet toestaat, weigert Wget de download helemaal opnieuw te starten. Als u de download helemaal opnieuw wilt starten, moet u eerst het gedeeltelijk gedownloade bestand van uw systeem verwijderen .
Er zijn nog enkele voorwaarden om dit argument te gebruiken, en je kunt er meer over lezen op de Wget-manpagina.
6. Beperk de downloadsnelheid
Als u Wget gebruikt om bestanden te downloaden en op het internet te surfen, wilt u waarschijnlijk niet dat al uw bandbreedte wordt opgebruikt door Wget. Gelukkig bevat Wget een argument dat u kunt gebruiken om de hoeveelheid bandbreedte te beperken die Wget kan gebruiken voor het downloaden van bestanden op uw systeem:
wget --limit-rate =
Opmerking : houd er rekening mee dat de snelheid wordt vermeld in bytes en niet in bits. Dus, als u Wget -limit-rate = 20k gebruikt, beperkt het het bandbreedtegebruik tot 20 kB, en niet tot 20 kb.
7. Gebruik Wget om bestanden van FTP-servers te downloaden
Als u een bestand van een FTP-server moet downloaden, kunt u dat ook met Wget doen. Gebruik eenvoudig de volgende opdracht om bestanden van FTP-servers te downloaden:
wget
- Download bestanden van FTP-servers met Inloggen
Als uw FTP-server vereist dat u inlogt om downloadbestanden toe te staan, kunt u de inloggegevens ook gewoon met Wget doorgeven. Gebruik gewoon de volgende opdracht:
wget --ftp-username = USERNAME --ftp-password = PASSWORD
Gebruik Wget eenvoudig om bestanden van internet te downloaden
U kunt Wget gebruiken om bestanden overal op internet te downloaden. Hoewel Wget bijna altijd werkt, zijn er bepaalde servers die toegang tot Wget verhinderen, in welk geval u de -user-agent voor uw Wget-opdracht kunt wijzigen. Dit is echter geen aanbevolen manier van handelen, tenzij u absoluut weet wat u doet. Voor het grootste deel laat Wget je alle bestanden van internet downloaden, zolang je er toegang toe hebt, en de bijbehorende URL.
Dus, heb je Wget ooit gebruikt om bestanden van internet te downloaden? Laat ons weten wat uw ervaring is met het gebruik van Wget om bestanden te downloaden via de HTTP-, HTTPS- en FTP-protocollen. Als je nog een aantal andere gebruiksmogelijkheden van Wget weet die je verdient om op deze lijst te staan, laat het ons dan weten in de comments hieronder.
