Mail.ruПочтаМой МирОдноклассникиВКонтактеИгрыЗнакомстваНовостиКалендарьОблакоЗаметкиВсе проекты

Каким образом или софтом можно скачать файлы массово с сайта? Фото сайта внутри.

Наблюдатель Ученик (56), закрыт 5 лет назад
Сложность задачи в том, что сайт как я понимаю представляет некую оболочку, показывает файлы на стороннем сервере, но когда дело доходит до загрузки при наведении мышкой в строке перехода невидно прямой ссылки на точный путь расположения файла, он скрыт под javascript. Соответственно никакой downloader не подцепит эту ссылку, потому что он и не воспримет это за ссылку. Так же стоит отметить, что ссылка закрытая в javascript не является точным путём, где можно было бы нажать по ней и сразу скачать, это возможно только транзитом и с авторизацией через сайт-оболочку, где собственно и смотришь эти файлы. Иными словами, если после того как разово скачал какой-нибудь файл для примера нажать в браузере скопировать адрес ссылки, то есть путь откуда качался файл, станет ясно, что сначала идёт сайт-оболочка и только потом идёт продолжение пути к файлу на оригинальный сайт, где лежит файл. Откинуть в адресной строке сайт-оболочку и оставить основной сайт и попытаться что-либо скачать не получится, всё только через сайт-оболочку.

Основной вопрос таков, каким образом и чем массово качать файлы с подобного сайта? Можно конечно на каждый нажимать "загрузить" и делать это вручную, но если этих файлов тысяча? Так же я пробовал через IDM или Download Master сделать для них список ссылок в блокноте и передать как задание при этом указав пароль для этого сайта-облочки, ни одна программа не понимает этот сайт и не реагирует на добавленные логин и пароль. Все ссылки слетают с ошибками требуя авторизацию. Но опять же, если я авторизовавшись на сайте в браузере пройдусь по заготовленным списком ссылкам вводя их вручную в адресную строку, все ссылки рабочие, то есть качать можно всё только внутри браузера.

Я впервые вижу подобный сайт, если кто-то понимает каким образом можно массово качать файлы с подобных сайтов, объясните пожалуйста.
Лучший ответ
Ярослав Искусственный Интеллект (107837) 5 лет назад
Многобукав, мало смысла.
Все что нужно для написания скрипта скачивания/урлтрансформа - это разобраться в том как работают функции downloaduno и addslashes (или, просто вызывать их из контекста документа, если устраивает массовое скачивание через браузер). В этом поможет веб-консоль. Возможно, еще понадобится Postman, если часть логики размещена на сервере.
Ну а если ленишься делать сам, то финансово компенсируешь чужое время, и получаешь готовый результат... Конечно, лучше все-таки самостоятельно разобраться, а то на сайтах иногда бывают изменения (и бесплатная поддержка купленного решения не длится вечно).
Остальные ответы
cat-float-funny Знаток (484) 5 лет назад
обычно браузер позволяет выбрать сохранить или открыть, посмтори внимательнее, или возьми фтп клиент или возьми прямой лоадер оболчки http request
Dmitry Оракул (58111) 5 лет назад
Ну, скачать сайт ты полностью не сможешь, ибо например все то, что делает сайт таким, каким он является - не только javascript на клиентской стороне, это ведь еще и серверная сторона, которая отвечает за очень многое. Программы, которые помогут тебе скачать сайт, не смогут скачать например php файл, ибо он выполняется на сервере, а клиенту приходит уже готовое содержимое.
НаблюдательУченик (56) 5 лет назад
Простите, где Вы видели, что я у кого-то спросил скачать весь сайт? Я спрашиваю о том, каким образом и чем сохранить файлы с этого сайта по списку, чтобы не качать их вручную нажимая загрузить по каждому, а чтобы это сделала программа, или может какой ещё способ есть.
Dmitry Оракул (58111) Скачать файлы массово с сайта вполне можно, при условии, что сервер тебе даст это сделать, бывает и такое, что сервер не дает скачивать более одного файла за раз. Если все скачивание с сайта идет посредством Javascript и в каком-то файле это есть, то вполне можешь попробовать разобрать этот файл и поискать реализацию этой возможности (скачивания).
Евгений Лисовецкий Мастер (1190) 5 лет назад
Есть аддоны для браузера типа Greasemonkey, которые позволяют добавлять на страницу свой JavaScript, за счёт чего можно автоматизировать некоторые действия на сайте.

А вообще, нужно смотреть, что это конкретно за сайт - возможно проще написать под него парсер.
Александр Лонберг Мыслитель (7685) 5 лет назад
Давным давно, когда у меня был только дорогой мобильный интернет я использовал маленькую программку HTTrack.
В ней можно вводить маски и зеркалировать сайт на локальный диск.
НаблюдательУченик (56) 5 лет назад
Так нет речи о том, чтобы выкачать весь сайт, речь о том, чтобы сохранить несколько файлов не вручную, а с помощью чего-либо, так как их тысяча в списке.
Александр Лонберг Мыслитель (7685) Я поэтому и отметил, что там можно вводить маски. К примеру ваши файлы находятся в директории site/document, вводите эту маску и программа сканирует страницы на наличие ссылок только по вашей маске. Таким образом выкачиваете все ваши файлы, только в этой директории.
Похожие вопросы