Загрузка файлов с помощью Wget

Wget

Wget –это в основном инструмент командной строки, который позволяет неинтерактивную загрузку файлов из Интернета. Неинтерактивный- это значит то, что программа может работать в фоновом режиме, пока пользователь не вошел в систему. Поддерживаемые протоколы включают HTTP, HTTPS и FTP.

Wget также поддерживает извлечение через http-прокси, и "вы можете перейти по ссылкам с HTML, XHTML и CSS на страницы, создавать там локальные версии удаленных веб-узлов, полностью воссоздав структуру каталогов оригинального сайта."

Как работает Wget?

В следующих разделах описываются основы использования инструмента Wget, а также его особенности.

1. Как скачать файл с помощью wget ?

Файл- инструмент загрузки будет сохранен в текущем рабочем каталоге пользователя. Вот как вы можете использовать wget при скачивании файла:

 wget [URL] 

Вот пример скриншота:

2. Как возобновить загрузки с помощью Wget?

В случае, если ваши текущие загрузки прервались из-за плохого интернет-соединения или по какой-либо другой причине, вы можете возобновить их, повторив ту же команду еще раз, но с использованием командной строки -с:

 wget -c [URL] 

Вот пример скриншота (см. вторая команда):

Таким образом, вы можете увидеть, что, когда команда Wget была запущена во второй раз с опцией -c, загрузка началась с того же места, где была остановлена. Эта опция также будет работать, если вы захотите закончить загрузку, начатую в других программах, Wget.

3. Как скачать файл имеющий другое имя?

По умолчанию, Wget сохраняет файл с тем же именем, которое он несет в Интернете. Но если вы хотите, вы также можете сохранить загруженный файл с другим именем. Эта функция осуществляется с помощью команды -O (верхний регистр) параметра командной строки.

 $ wget -O [file-name] [URL]

Вот пример скриншота:

4. Как перенаправить wget-вывод в файл журнала?

Если вы хотите, вы также можете перенаправить сообщения/информацию через wget, который выдает вывод на стандартный файл журнала. Это можно сделать с помощью -о (строчной) параметра командной строки.

 $ wget -o [log-filename] [URL] 

Вот пример снимка:

Как вы можете видеть на скриншоте выше, нет вывода или сообщения отображающихся на стандартный вывод. Это потому, что все сообщения перенаправляются на файл журнала с именем «abc.log».

Вы можете просмотреть лог-файл с помощью команды Cat.

 $ cat abc.log 

Вот что пишет лог-файл в нашем случае:

5. Как скачать файлы в фоновом режиме с помощью wget

Используя этот инструмент, вы можете качать файлы в фоновом режиме. Загруженный файл будет сохранен с именем ‘wget-log.’. Эта функция доступна с помощью -б параметра командной строки.

 $ wget -b [URL] 

Вот пример:

Обратите внимание, что вы можете изменить имя файла с помощью-o (в Нижнем регистре) как это сделать мы объяснили ранее.

6. Как ограничить скорость загрузки при использовании Wget?

При использовании Wget, вы также можете ограничить скорость загрузки. Это можно сделать с помощью опции -limit-rate, которая требует значения в байтах в секунду. Сумма может быть в байтах, килобайтах с суффиксом«K» или мегабайтах с суффиксом «M».

 $ wget –limit-rate=[amount] [URL]

Вот пример, как ограничить скорость загрузки до 50к:

7. Как изменить время чтения команды wget ?

Тайм-аут чтения-это количество времени (в секундах), за которое проверяются данные с использованием wget (в случае не получения данных), прежде чем возобновить загрузку. По умолчанию тайм-аута чтения длится 900 секунд, но вы можете изменить время с помощью чтения-тайм-аут.

 $ wget –read-timeout=[time in seconds] [URL]

Вот пример:

8. Как изменить количество повторных попыток?

Если загрузка прерывается из - за плохого подключения к Интернету или из-за любой другой ошибки, инструмент пытается возобновить загрузку. По умолчанию, утилит пытается это сделать 20 раз , а затем останавливается. Но если вы хотите увеличить или уменьшить число попыток, вам следует воспользоваться опцией -t командной строки.

 $ wget -t [no.-of-retries-you want] [URL]

Вот пример:

Как вы видите на скриншоте выше, wget сдался после двух попыток.

Примечание: Эта функция ,за исключением критических ошибок "отказ в соединении" или "не найдено" (404), не повторяется.

9. Как заставить wget отображать отладочную информацию?

Если вы хотите, вы также можете сделать так,чтобы команда wget отображала дополнительную информацию, относящеюся к процессу загрузки. Эта информация полезна для отладки, если инструмент работает неправильно. Функцию можно получить с помощью –debug или -D параметров.

 $ wget –debug [URL] 

Вот пример:

10. Как изменить индикатор выполнения загрузки Wget ?

Если вы хотите, вы также можете изменить индикатор загрузки файла отображающегося в выходных данных. Существует два типа показателей: bar (который по умолчанию) и dot. Тем не менее, если выход не отображается на терминале (TTY), то точка индикатора используется по умолчанию.

Опция --progress позволяет выбрать тип индикатора ,если вы хотите переопределить поведение по умолчанию. Например:

 $ wget --progress=dot [URL] 

Вот пример:

Двигаемся дальше, в зависимости от размера файла, который Вы скачиваете, Вы также можете настроить путь загрузки отображающийся на индикаторе прогресса.

 $ wget -–progress=[type]:[parameter] 

«type» может быть bar или dot в то время как «параметр» может определятся по умолчанию, двоичный, мега или гига.

Например, если вы хотите установить «type» в качестве dot и двоичный «parameter», то вы можете использовать следующую команду:

 $ wget -–progress=dot:binary [URL] 

Вот пример:

Обратите внимание на то,какой параметр вы выбираете ( двоичный, мега или гига), как правило,это зависит от размера загружаемого файла. Вот что на Man-странице говорит об этих стилях:

В стиле "по умолчанию" каждая точка соответствует 1к, то есть десять точек в кластере и 50 точек в линии. "Бинарный" стиль более компьютезированный как ориентация---8к dots, 16-dots кластеров и 48 dots в строке (для 384 тыс. строк). "Мега" стиль подходит для скачивания больших файлов---каждая точка представляет 64К, существует восемь dots на кластер и 48 dots в каждой строке (так что каждая строка содержит 3М). Если "мега" не достаточно, то вы можете использовать "гига" стиль---каждая dots представляет 1М проверено восемь dots в кластере, и 32 dots в каждой строке (так каждая строка содержит 32М).

Заключение

Это совсем немного из тех дополнительных опций командной строки,что предлагает wget. Однако, тех, которые мы здесь обсудили, должно быть достаточно. Попробуйте эти, и в случае каких-либо сомнений или запроса, обратитесь к команде Man.