21-07-2014 11:29 Kamrad-Ru » о выкачивании архивов
Одиночный форум выкачивается HTTrack-ом за обозримое время (у меня получалось от 3 до 8 часов) с вот такими настройками Scan Rules:
+*.png +*.gif +*.jpg +*.jpeg +*.css +*.js -ad.doubleclick.net/* -mime:application/foobar
+*.zip +*.tar +*.tgz +*.gz +*.rar +*.z +*.exe
-http://kamrad.ru/index.php?s=*
-*forumid=*
+*forumid=20
+*forumid=20&*
-*/postings.php*
-*/editpost.php*
-*/sendtofriend.php*
-*/printthread.php*
-*/member2.php*
-*/search.php*
-*/member.php*
-*/private.php*
-*sortfield=title.htm
-*sortfield=postusername.htm
-*sortfield=replycount.htm
-*sortfield=views.htm
-*sortfield=lastpost.htm
-*sortorder=asc*
-*sortorder=desc*
-*/postings.php*
-*/newreply.php*
-*/moderator.php*
-*/photolist.php*
-*/buddylist.php*
-*/memberlist.php*
-*/calendar.php*
-*/register.php*
-*/usercp.php*
-*/photolist-2.php*
-*/photolist-3.php*
-*/misc.php*
-*/forumconfig.php*
-*newreply.php*
-*newthread.php*
-*goto=*
-*#post*
-*threadid=74425#
-*/poll.php*
+*goto=lastpost*
Выделенное число - номер конкретного форума, того, который нужно качать (20). Должны быть перечислены все необходимые форумы.
Возможно, некоторые условия излишни.
Другие параметры выкачки
Limits:
Max mirroring depth - 4 (для маленьких форумов с темами до 10 страниц) или 7-20 (во вложенных форумах, и в зависимости от макимального кол-ва страниц форума и кол-ва страниц в самой длинной теме)
Max external depth - 0
Max transfer rate - пишите максимум, 1000000, например, или больше.
Max connections/seconds - 100
Max number of links - максимум - 10 000 000
Flow Control:
Max connections - 15
Выделенные параметры нужно указать еще раз после запуска (меню Mirror - Modify Options), потому что программа на старте игнорирует их по соображениям чрезмерной загрузки сайта, взятым из прошлого века.
P.S. Выкачивается под незарегистрированным юзером, спецфорумы не будут видны. Кому что надо, у вас еще есть примерно 12 часов - качайте.
P.P.S. Предполагается, что у нас будут архивы форумов Лейна, Литературы, Флейма, Кино, Мафии, CRPG, RPG (без конкурса по Обливиону), Игры, Квесты, Убей Ламера, Вебдизайн.
Остальное - если нужно - качайте.
+*.png +*.gif +*.jpg +*.jpeg +*.css +*.js -ad.doubleclick.net/* -mime:application/foobar
+*.zip +*.tar +*.tgz +*.gz +*.rar +*.z +*.exe
-http://kamrad.ru/index.php?s=*
-*forumid=*
+*forumid=20
+*forumid=20&*
-*/postings.php*
-*/editpost.php*
-*/sendtofriend.php*
-*/printthread.php*
-*/member2.php*
-*/search.php*
-*/member.php*
-*/private.php*
-*sortfield=title.htm
-*sortfield=postusername.htm
-*sortfield=replycount.htm
-*sortfield=views.htm
-*sortfield=lastpost.htm
-*sortorder=asc*
-*sortorder=desc*
-*/postings.php*
-*/newreply.php*
-*/moderator.php*
-*/photolist.php*
-*/buddylist.php*
-*/memberlist.php*
-*/calendar.php*
-*/register.php*
-*/usercp.php*
-*/photolist-2.php*
-*/photolist-3.php*
-*/misc.php*
-*/forumconfig.php*
-*newreply.php*
-*newthread.php*
-*goto=*
-*#post*
-*threadid=74425#
-*/poll.php*
+*goto=lastpost*
Выделенное число - номер конкретного форума, того, который нужно качать (20). Должны быть перечислены все необходимые форумы.
Возможно, некоторые условия излишни.
Другие параметры выкачки
Limits:
Max mirroring depth - 4 (для маленьких форумов с темами до 10 страниц) или 7-20 (во вложенных форумах, и в зависимости от макимального кол-ва страниц форума и кол-ва страниц в самой длинной теме)
Max external depth - 0
Max transfer rate - пишите максимум, 1000000, например, или больше.
Max connections/seconds - 100
Max number of links - максимум - 10 000 000
Flow Control:
Max connections - 15
Выделенные параметры нужно указать еще раз после запуска (меню Mirror - Modify Options), потому что программа на старте игнорирует их по соображениям чрезмерной загрузки сайта, взятым из прошлого века.
P.S. Выкачивается под незарегистрированным юзером, спецфорумы не будут видны. Кому что надо, у вас еще есть примерно 12 часов - качайте.
P.P.S. Предполагается, что у нас будут архивы форумов Лейна, Литературы, Флейма, Кино, Мафии, CRPG, RPG (без конкурса по Обливиону), Игры, Квесты, Убей Ламера, Вебдизайн.
Остальное - если нужно - качайте.
Комментарии:
Опытный ворчун
Skiminok Не так. Чтобы качать из-под логина, тебе нужно в Browser ID в поле Additional HTTP Header ввести header Cookie, выловленный HTTP Analyzer-ом
P.S. Еще один хитрый момент выяснился, оказывает эта черезчур умная программа игнорирует выставленные параметры, "чтобы не перегружать сайт". Лимит на кол-во connection и на ширину канала лучше еще раз выставить после запуска. Иначе он качает только на 250 Kb/s
P.S. Еще один хитрый момент выяснился, оказывает эта черезчур умная программа игнорирует выставленные параметры, "чтобы не перегружать сайт". Лимит на кол-во connection и на ширину канала лучше еще раз выставить после запуска. Иначе он качает только на 250 Kb/s
отредактировано: 27-07-2014 13:00 - JimmyM
JimmyM
Джимми, я сдаюсь...
Ни черта у меня не выходит - сделал вроде как ты говоришь - вообще качать не хочет. Весь день сегодня долбался, по всякому. Затрахался уже, мозги не варят...
Если можешь - выкачай сам Литературу, Флейм, SW и корень Сталкера.
У меня или монстры на 40 гигов получаются, или сразу вылет, или каша какая-то непонятная...
Джимми, я сдаюсь...
Ни черта у меня не выходит - сделал вроде как ты говоришь - вообще качать не хочет. Весь день сегодня долбался, по всякому. Затрахался уже, мозги не варят...Если можешь - выкачай сам Литературу, Флейм, SW и корень Сталкера.
У меня или монстры на 40 гигов получаются, или сразу вылет, или каша какая-то непонятная...
Опытный ворчун
Ты бы написал в течение дня, что не получается, разобрались бы. Для выкачки под логином я убрал строчку "-*sortfield=lastpost.htm" из условий, но вряд ли она сильно влияла.
Совсем не качает, если неудачно указать Cookie. Это должна быть одна строка, стоять первой в поле Additional HTTP Headers, в ней должны быть логин, пароль и хэш сессии, у меня сейчас стоит так:
Cookie:bbuserid=10852; bbpassword=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx; __utmb=xxxxxxxxx.x.xx.xxxxxxxxxx; sessionhash=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx; __utmc=xxxxxxxxx
- где bbuserid - твой номер на форуме, xxxx...xxxx - числовые параметры, которые надо посмотреть HTTPAnalyzer-ом. Можно одновременно качать под несколькими сессиями (т.е. с разным sessionhash). Остальной мусор из оригинальной cookie не нужен.
Флейм, 4x4 с длинной темой, Autosport и Сталкер запущены, но пока непонятно, что получится. Литературу запущу утром, наверное. SW - не уверен, что успею скачать. В теории для SW под логином нужна вложенность около 80, но реально скорее всего достаточно будет 40, если он будет идти по страницам с двух концов.
Остались нескачанными Куплю-продам и Объявлены в розыск.
Совсем не качает, если неудачно указать Cookie. Это должна быть одна строка, стоять первой в поле Additional HTTP Headers, в ней должны быть логин, пароль и хэш сессии, у меня сейчас стоит так:
Cookie:bbuserid=10852; bbpassword=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx; __utmb=xxxxxxxxx.x.xx.xxxxxxxxxx; sessionhash=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx; __utmc=xxxxxxxxx
- где bbuserid - твой номер на форуме, xxxx...xxxx - числовые параметры, которые надо посмотреть HTTPAnalyzer-ом. Можно одновременно качать под несколькими сессиями (т.е. с разным sessionhash). Остальной мусор из оригинальной cookie не нужен.
Флейм, 4x4 с длинной темой, Autosport и Сталкер запущены, но пока непонятно, что получится. Литературу запущу утром, наверное. SW - не уверен, что успею скачать. В теории для SW под логином нужна вложенность около 80, но реально скорее всего достаточно будет 40, если он будет идти по страницам с двух концов.
Остались нескачанными Куплю-продам и Объявлены в розыск.
У меня теперь проблема - как монстров с харда убрать. 
300000 файлов в каталоге не стирается ничем - напрочь виснет и стандартная удалялка и Тотал... Придется видно подключать пустой хард, перебрасывать на него все ценное, а этот форматировать на фиг.
300000 файлов в каталоге не стирается ничем - напрочь виснет и стандартная удалялка и Тотал... Придется видно подключать пустой хард, перебрасывать на него все ценное, а этот форматировать на фиг.
Опытный ворчун
ну, у меня проще, пустой хард (он умирал в самом начале эпопеи с выкачкой). Я просто с него ничего не стираю, а делаю архивы из готового и перебрасываю их на другие винты. Потом не буду стирать - просто отформатирую его А так да, легко не сотрется, это ж NTFS с его $I30
P.S. Запустил Литературу и SW, но думаю, что-нибудь да не скачается. 6 закачек сразу - многовато... ладно, доброй ночи
А так да, легко не сотрется, это ж NTFS с его $I30P.S. Запустил Литературу и SW, но думаю, что-нибудь да не скачается. 6 закачек сразу - многовато... ладно, доброй ночи
Опытный ворчун
Чертов httrack В общем, хоть ему и прописано -*#post* он все равно для каждого "URL сообщения" делает отдельный файл! поэтому их так много
В общем, хоть ему и прописано -*#post* он все равно для каждого "URL сообщения" делает отдельный файл! поэтому их так много Да уж... Ну ведь немного уже вроде осталось.
А у меня провайдер завыделывался - падает канал каждые 15-20 минут минут на пять... Весь вечер такая ерунда. Не могу понять - это у них что-то глючит - или это они лично для меня устроили - за 200 гигов трафика в двое суток?
А у меня провайдер завыделывался - падает канал каждые 15-20 минут минут на пять... Весь вечер такая ерунда. Не могу понять - это у них что-то глючит - или это они лично для меня устроили - за 200 гигов трафика в двое суток?
Опытный ворчун
поставил -*post*post* , посмотрим
Звездным войнам - не судьба за 4 часа докачаться. Сталкер запустил заново, есть слабые шансы.
Остались нескачанными Куплю-продам и Объявлены в розыск. Не знаю, стоит ли их запускать.
Звездным войнам - не судьба за 4 часа докачаться. Сталкер запустил заново, есть слабые шансы.
Остались нескачанными Куплю-продам и Объявлены в розыск. Не знаю, стоит ли их запускать.
А литература?
Опытный ворчун
скачал, но не паковал еще. Т.е. теоретически у диска еще есть шанс сдохнуть и всё запороть 
Он, наверняка, бедный, думает об этом.
Он, наверняка, бедный, думает об этом.Skiminok
Ой, не дай Бог сглазишь! А у тебя там еще флейм же скачанный?
Куплю-продам и Объявлены в розыск - думаю, вряд ли кому нужны...
Ой, не дай Бог сглазишь! А у тебя там еще флейм же скачанный?
Куплю-продам и Объявлены в розыск - думаю, вряд ли кому нужны...
Опытный ворчун
Да, флейм скачан. Выкачиваю отдельно Поле Битвы из SW и топовый форум STALKER-а.
Опытный ворчун
непохоже, что сталкер успеет до полуночи... 
Опытный ворчун
интересные результаты получаются, если убирать ссылки
-*/showthread.php?s=&postid=*
это ссылки под надписями "URL сообщения". Работает медленнее, но закачивает быстрее за счет меньшего кол-ва файлов.
-*/showthread.php?s=&postid=*
это ссылки под надписями "URL сообщения". Работает медленнее, но закачивает быстрее за счет меньшего кол-ва файлов.
Скажите, а вы это что, правда потом все перечитывать будете?
morbid
Нет, конечно - всё подряд вряд ли кто перечитывать будет.
Но чтобы это всё БЫЛО - очень хочется. Важно то, что в любой момент можно перечитать то, что хочется перечитать...
Зачем... Ну, объяснить я не смогу наверное. Это также сложно, как объяснить зачем нужна домашняя библиотека - хоть в электронке, хоть в бумаге.
Прочитал книгу - ну и в мусорник ее, зачем на полку ставить?
Также - зачем нужны старые фотки - снял, выложил в фейсбучек, похвастался - и в корзину их. Уже ж посмотрел?
Теперешнему поколению, научившемуся жить только сегодняшним днем, у которого нет прошлого от слова совсем и удобное мини-будущее - только до даты выпуска нового айпадика и даты выхода нового блокбастерика - этого просто не объяснить.
Я не тебя имею в виду (если что) просто хочу сказать: объяснить (если чел сам не чувствует) что такое кусок твоей жизни и почему ты не хочешь, чтобы он пропал - наверное нельзя.
Нет, конечно - всё подряд вряд ли кто перечитывать будет.
Но чтобы это всё БЫЛО - очень хочется. Важно то, что в любой момент можно перечитать то, что хочется перечитать...
Зачем... Ну, объяснить я не смогу наверное. Это также сложно, как объяснить зачем нужна домашняя библиотека - хоть в электронке, хоть в бумаге.
Прочитал книгу - ну и в мусорник ее, зачем на полку ставить?
Также - зачем нужны старые фотки - снял, выложил в фейсбучек, похвастался - и в корзину их. Уже ж посмотрел?
Теперешнему поколению, научившемуся жить только сегодняшним днем, у которого нет прошлого от слова совсем и удобное мини-будущее - только до даты выпуска нового айпадика и даты выхода нового блокбастерика - этого просто не объяснить.
Я не тебя имею в виду (если что) просто хочу сказать: объяснить (если чел сам не чувствует) что такое кусок твоей жизни и почему ты не хочешь, чтобы он пропал - наверное нельзя.
У меня целый шкаф книг, которые выкинуть рука не подымается. Но я при любом переезде-ремонте или перестановке его выкину - ибо за последние 10 лет ни разу не открыл даже ни одну из них (а зачем, если куда проще и быстрее найти эту книгу прямо с телефона?). А спотыкаюсь я об него каждый божий день.
У меня умерло более пяти больших ресурсоф-форумов и прочего, но я все равно к тому моменту уже перестал на них ходить.
Не знаю. Прошлое остается в прошлом. Это как мертвых людей не хоронить, а держать дома в банках со спиртом.
У меня умерло более пяти больших ресурсоф-форумов и прочего, но я все равно к тому моменту уже перестал на них ходить.
Не знаю. Прошлое остается в прошлом. Это как мертвых людей не хоронить, а держать дома в банках со спиртом.
Опытный ворчун
morbid Всё - нет, но отдельные темы я иногда с удовольствием перечитываю. А, например, коллективные романы, вроде, Икспедиции или Поля Битвы - можно перегнать в PDF и читать как обычные книжки в метро
Я тоже отдельные перечитываю с огромным удовольствием. Знаешь, morbid, жаль, что тебя не было с нами тогда, году в 2002-м - это был самый расцвет Камрада. Тебе бы понравилось, уверен. Интереснейшие люди, яркие страсти, настоящее творчество... Здорово. Правда, ОЧЕНЬ здорово.
Skiminok я если чо еще раньше с камрада сюда на жру и пришел. А на камрад попал через тему про Морровинд, прохождение которого я там искал. Но как-то оно не поперло, к тому же у меня были еще разные ресурсы тогда, где я периодически бывал. Это ж сейчас все свелось к фейсбучеку и жру.
З.Ы. Искпедиция - совершенно нечитабельна, по-крайней мере для меня. Ибо это как роман-буриме, в качестве игры - ок. А как отдельное произведение никому не интересно, кроме тех, кто принимал участие. И то только потому, что у них с этим воспоминания связаны, шутки и т.д. Это как пьянки стенографировать.
З.Ы. Искпедиция - совершенно нечитабельна, по-крайней мере для меня. Ибо это как роман-буриме, в качестве игры - ок. А как отдельное произведение никому не интересно, кроме тех, кто принимал участие. И то только потому, что у них с этим воспоминания связаны, шутки и т.д. Это как пьянки стенографировать.
Оффлайн-архивы форума KAMRA...
[Print]
William Wolos