Массовое скачиване файлов по ссылкам из списка файла

Задача. Необходимо было выкачать более тысячи изображений по ссылкам.

Решение. Скачать файлы по массиву ссылок можно с помощью консольной програмы Wget.

Алгоритм действий по скачиванию фалйлов по ссылкам из файла:

  1. Распаковываем программу в по адресу d:\wget.
  2. Там же содаем папку d:\files. В нее будут скачиваться файлы.
  3. В этом же месте размещаем текстовый файл с сылками d:\url_files.txt.
  4. Запускаем через консоль Wget. Вызываем командную строку [Win + R] и вводим команду «cmd»
  5. Вводим команду d:\wget\wget.exe -i d:\url_files.txt —secure-protocol=auto -x -nc -c -P d:\files\ и запускаем [Enter] и увидим выполнение операций. Предворительно команду можно скопировать куда-то, отредактировать и Вставит в консоль черезменю ПКМ.
  6. Если есть необходимость прервать процесс — Ctrl + C (Break).
  7. По завершению будет выведено сообщение о выполнении, затратах времени и т.п.

Пояснения к опциям команды из п.5:

-i + путь для файла со списком URL для скачиваемых файлов;
—secure-protocol=auto — устанавить, если на сайте настроен HTTPS, при HTTP эта команда не требуется;
-x — сохранение структуры файлов как в источнике;
-nc — если файл уже присутствует, и он скачан, то не будет загружен сново;
-c — если файл не полностью закачан, то будет продолжена закачка;
-P + папка для сохранения данных;

Команда d:\wget\wget.exe -h выведит все доступные опции.

Как скачать изображения по списку и их оптимизировать сохранив при этом файловую структуру?

Ссылка на основную публикацию