Journals.ru - Пыльные архивы минувших лет

Kamrad-Ru

11:29 21-07-2014 о выкачивании архивов

Одиночный форум выкачивается HTTrack-ом за обозримое время (у меня получалось от 3 до 8 часов) с вот такими настройками Scan Rules:

+*.png +*.gif +*.jpg +*.jpeg +*.css +*.js -ad.doubleclick.net/* -mime:application/foobar
+*.zip +*.tar +*.tgz +*.gz +*.rar +*.z +*.exe
-http://kamrad.ru/index.php?s=*
-*forumid=*
+*forumid=20
+*forumid=20&*
-*/postings.php*
-*/editpost.php*
-*/sendtofriend.php*
-*/printthread.php*
-*/member2.php*
-*/search.php*
-*/member.php*
-*/private.php*
-*sortfield=title.htm
-*sortfield=postusername.htm
-*sortfield=replycount.htm
-*sortfield=views.htm
-*sortfield=lastpost.htm
-*sortorder=asc*
-*sortorder=desc*
-*/postings.php*
-*/newreply.php*
-*/moderator.php*
-*/photolist.php*
-*/buddylist.php*
-*/memberlist.php*
-*/calendar.php*
-*/register.php*
-*/usercp.php*
-*/photolist-2.php*
-*/photolist-3.php*
-*/misc.php*
-*/forumconfig.php*
-*newreply.php*
-*newthread.php*
-*goto=*
-*#post*
-*threadid=74425#
-*/poll.php*
+*goto=lastpost*

Выделенное число - номер конкретного форума, того, который нужно качать (20). Должны быть перечислены все необходимые форумы.
Возможно, некоторые условия излишни.

Другие параметры выкачки

Limits:

Max mirroring depth - 4 (для маленьких форумов с темами до 10 страниц) или 7-20 (во вложенных форумах, и в зависимости от макимального кол-ва страниц форума и кол-ва страниц в самой длинной теме)
Max external depth - 0
Max transfer rate - пишите максимум, 1000000, например, или больше.
Max connections/seconds - 100
Max number of links - максимум - 10 000 000

Flow Control:

Max connections - 15

Выделенные параметры нужно указать еще раз после запуска (меню Mirror - Modify Options), потому что программа на старте игнорирует их по соображениям чрезмерной загрузки сайта, взятым из прошлого века.

P.S. Выкачивается под незарегистрированным юзером, спецфорумы не будут видны. Кому что надо, у вас еще есть примерно 12 часов - качайте.

P.P.S. Предполагается, что у нас будут архивы форумов Лейна, Литературы, Флейма, Кино, Мафии, CRPG, RPG (без конкурса по Обливиону), Игры, Квесты, Убей Ламера, Вебдизайн.
Остальное - если нужно - качайте.

Комментарии:

Kamrad-Ru

клуб • хочухи • Профиль

19:57 21-07-2014

При указанных условиях Scan Rules не подхватываются ссылки "последняя страница" (но после входа на любую по номеру вы сможете перейти на последнюю), чтобы подхватывались, попробуйте добавить

+*goto=lastpost*

но это минимум по 25 лишних ссылок на каждой странице форума.

P.S. ...и не факт, что решит проблему.

отредактировано: 24-07-2014 05:52 - JimmyM

JimmyM

Профиль

05:56 24-07-2014

Позор на мою седую голову

из-за пропущенного * в строчке

-http://kamrad.ru/index.php?s=*

вытягивалась главная страница Камрада и теоретически программа могла выкачать другой форум, подходящий по номеру (если он короткий) к условиям.
как вариант, можно попробовать более явно указывать номер форума
т.е., например, вместо
+*forumid=118*
писать
+*forumid=118
+*forumid=118&*

P.S. И фильтр работает последовательно, поэтому добавление форумных страниц должно работать до фильтров, отсекающих добавление новой темы, сортировки и т.д.

отредактировано: 24-07-2014 20:59 - JimmyM

Skiminok