Забанили на Гутенберге

[palindromer]

Приспичило скачать с gutenberg.org много книг из одной рубрики. Сочинил скрипт, отладил, запустил. Несколько файлов скачались, а потом Error 403. Нельзя, оказывается, качать много сразу, много за день и вообще автоматизировать это дело. Надеюсь, помилуют через 24h, а то обидно как-то.

Comments

[alexanderr.livejournal.com]

ну значит скрипт не совсем отладил ;-)
отлаженный скрипт бы делал задержки
на случайные интервалы времени, и качал бы
медленно. например, по одной книге в день.
впрочем, по одной книге можно и без скрипта.
вот такой парадокс ;-)

[palindromer.livejournal.com]

Так кто ж знал, что там банят за такое. Вернее, можно было догадаться, но большими красными буквами об этом не написано на главной странице, вот я и понадеялся что обойдется.

[sbobrovsky.livejournal.com]

На Гутенберге, Карл! Никогда бы не поверил. Хотя и на торрентских сайтах могут забанить, если слишком много утаскиваешь и не раздаёшшь.

[palindromer.livejournal.com]

Ну их тоже можно понять, каналы то не резиновые, а желающих почтитать видимо хватает.

[woodenfriend.livejournal.com]

на чём скрипт?
когда мне доводится автоматизировать какие-то манипуляции связанные с данными из интернетов, увы, приходится браться за php.

[palindromer.livejournal.com]

На питоне. Я нашел потом другой ресурс, где накачал гигабайта полтора, пока не решил что хватит. Жаль, там не так удобно как на Гутенберге, где по ссылкам до нормальных текстовых файлов добраться можно. Мне же пришлось по страницам ходить и из div'ов html выковыривать, да потом конвертировать еще (текст немецкий с умляутами всякими) Но зато интересно, плюс повод питон подучить немножко.

[woodenfriend.livejournal.com]

о да, изучение обусловленное практикой, да ещё и по собственному запросу - это лучший из возможных вариантов. я на питоне до сих пор не бе ни ме, потому что мне по ошибке подарили том 2 вместо тома 1 :))