Страница 1 из 2
Локальные зеркала Internet-сайтов - интересно ли?
Добавлено:
03 июл 2005 20:48
Ivan.Rybin
Неоднократно слышал предложения сделать "оффлайн" (точнее - сетевые, доступные без Internet) версии - зеркала - особо популярных сайтов (новости, анекдоты, хайтеч).
Интересно ли это и если да, то какие сайты имеет смысл выкачивать? и с какой регулярностью обновлять? (насколько я знаю, у "сайтосдиральщиков" можно ставить шедулер на автовыдирание в заданном промежутке времени).
Добавлено:
03 июл 2005 22:46
$volach
Яндекс
А вообще подумай, как ты будешь сдирать новостной сайт? Ежечасно?
Анекдоты можно, а еще я люблю сайты тематики
www.hardwareportal.ru
Добавлено:
03 июл 2005 23:22
Midas
лента.ру
Добавлено:
03 июл 2005 23:28
Ivan.Rybin
жжёшь, реально жжёшь
(тока почему сразу не
Google?)
А вообще подумай, как ты будешь сдирать новостной сайт? Ежечасно?
в принципе можно и так (есть там опция докачивать изменившееся) ну или раз в день - сводка за день, так сказать
В своё время я держал зеркало iXBT.com
Добавлено:
04 июл 2005 00:09
Ivan.Rybin
Midas писал(а):лента.ру
и как часто её обновлять?
Добавлено:
04 июл 2005 00:16
Midas
А черт знает, тут нужен компромисс между оперативностью и дозволенностью (причем по разным параметрам: - загрузка твоего сервера; - чтобы не зажопили и не обрубили). Ясень пень, что каждый час ее скачивать смысла нет, но и раз в сутки - тоже мало. Думаю, раза 4 в сутки вполне. Скачивать, разумеется, не нужно всё, а только то, что идет с главной страницы.
Добавлено:
04 июл 2005 22:34
Ivan.Rybin
Ну что - тестируем первую версию выдирания Ленты:
mirrors/lenta/lenta.ru/default.htm
Нужно-ли выдирать глубже?
Добавлено:
04 июл 2005 22:51
Midas
Супер!!!
Глубже точно не надо. По-моему, и так чрезмерно глубоко.
Добавлено:
04 июл 2005 23:08
Ivan.Rybin
В принципе могу выделить имя типа lenta.big-bossa.com и раз в 6 часов его сдирать.
По понятным причинам, такие зеркала с Internet смотреть будет невозможно
Добавлено:
04 июл 2005 23:16
Ivan.Rybin
В общем в ближайшем времени замучу страницу со ссылками на Зеркала и там уже будет прописано, что, где и как часто обновляется.
А пока принимаются заявки какие ещё сайты имеет смысл зеркалировать и как часто обновлять.
ЗЫ: по понятным причинам, монстров типа iXBT.com если и буду зеркалировать, то только с обновлением раз в 2-4 недели, т.к. они весят под 3 гигабайта...
Добавлено:
05 июл 2005 22:00
Stun
может емуль сервер сделаешь? да так чтобы нам хай айди тоже выдавал... а то надоело месяцами качать...
Добавлено:
05 июл 2005 22:22
Ivan.Rybin
тут увы - он сжирает 100% канала
- и это НИКАК не ограничивается (тут же налетают желающие из инета, а средств ограничить это и ширину канала у имеющегося софта я не нашёл).
Добавлено:
06 июл 2005 14:47
$volach
Ivan S. Rybin писал(а):а средств ограничить это и ширину канала у имеющегося софта я не нашёл).
А ср-вами файрволла? =)
Добавлено:
06 июл 2005 14:49
Ivan.Rybin
$volach писал(а):А ср-вами файрволла? =)
покажите хоть один нормальный FW под серверные версии Windows NT - так сразу ограничу
(Kerio не предлагать!)
Добавлено:
06 июл 2005 14:50
Ivan.Rybin
2 All: давайте не будем оффтопить, если есть интерес к Peer2peeR серверам - заведите отдельную тему, а тут поговорим о зеркалировании сайтов с инета.