Место для вас

Как скачать сайт целиком утилитой WGET

В этой статье я хочу поделиться информацией о том, как можно скачать сайт целиком, а затем просматривать его в автономном режиме.

Конечно, современные браузеры, как правило, имеют функцию закачки файлов, однако так как браузер рассчитан все таки на интерактивный режим работы, то скачивание большого количества файлов вручную (или скачивание каждой страницы сайта отдельно) весьма утомительное занятие.

Чтоб все делалось в автономном режиме, то для этого нужно воспользоваться утилитой WGET. Не знаю про Windows, но эта утилитка есть почти во всех Linux дистрибутивах.

WGET - это утилита, которая предназначена для загрузки файлов из интернета (из сети).

С помощью WGET можно скачивать сайты, включая картинки, стили, скрипты. Указав всего лишь адрес сайта и определенные параметры WGET будет автоматически переходить по ссылкам на сайте, которые обнаружит и скачивать страницу за страницей.

И так, чтобы скачать сайт целиком с помощью утилиты WGET нужно выполнить простенькую команду:

wget -r -k -l 7 -p -E -nc http://yoursite.com/

После выполнения данной команды в директорию yoursite.com будет загружена локальная копия сайта http://yoursite.com.

Рассмотрим используемые параметры:

параметр пояснение
-r указывает на то, что нужно рекурсивно переходить по ссылкам на сайте, чтобы скачивать страницы
-k используется для того, чтобы wget преобразовывал все ссылки в скаченных файлах таким образом, чтобы они ссылались на локальную копию
-p указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css, js и т.д.)
-l определяет максимальную глубину вложенности страниц, которые wget должен скачивать (по умолчанию значение равно 5, а в примере мы используем 7). Так как в большинстве случаев сайты имеют страницы с большой степенью вложенности и wget в этом случае может просто "утонуть", скачивая новые страницы. А чтобы этого не произошло мы указываем ограничение.
-E добавлять к загружаемым файлам расширение .html
-nc при использовании данного параметра существующие файлы не будут заново перезаписаны. Это удобно в том случае, когда нужно продолжить загрузку сайта, прерванную в предыдущий раз

Хотя я рассмотрел лишь одно из всевозможных применений утилиты wget. На самом деле область применения утилиты wget значительно шире и обладает большим числом дополнительных параметров. За более подробной информацией нужно обращаться к руководству, выполнив в командной строке man wget.


Место для вас

Добавить коментарий

кликните на картинку,
чтоб обновить код

Что за сайт

Этот сайт представляет унифицированную базу, где инфа собрана в единое целое, а не разбросанна по многочисленным сайтам, записям на листах бумаги или головам людей; а так же доступна круглосуточно не зависимо от кого-либо или чего-либо.

Будь в курсе

Интересненько

Вверх