UmaxForum
Ответ
 
Опции темы Опции просмотра
Старый 06.06.2007, 14:42   #1
CHAOSMASTER
Местный
 
Аватар для CHAOSMASTER
 
Регистрация: 21.09.2006
Адрес: Бельцы
Сообщений: 309
CHAOSMASTER пока неопределено
Отправить сообщение для CHAOSMASTER с помощью ICQ
По умолчанию

парсил гуглю,мсн и яху с интервалом в 5 секунд. первые два поисковика всё норм а яху забанило айпи походу так как теперь даже в ручную не ищется. какой временной интервал в секундах между парсингом яху должен быть чтоб он не банил доступ к поиску
__________________
Астральный Блог Дорвейщика
Говорят, он отправился в путешествие, в страну, где ходят, не оставляя следов. Его уже не найдут, но все обретут его...
http://userbars.us/data/thumbnails/11/Agnostic.jpg
CHAOSMASTER вне форума   Ответить с цитированием
Старый 06.06.2007, 15:04   #2
alexf2000
Members
 
Аватар для alexf2000
 
Регистрация: 14.04.2005
Адрес: Я в домике
Сообщений: 727
alexf2000 как роза среди колючекalexf2000 как роза среди колючекalexf2000 как роза среди колючек
Отправить сообщение для alexf2000 с помощью ICQ
По умолчанию

Оно считает обращения, так что никакой разумный интервал не поможет. ИП меняй.
alexf2000 вне форума   Ответить с цитированием
Старый 06.06.2007, 17:34   #3
CHAOSMASTER
Местный
 
Аватар для CHAOSMASTER
 
Регистрация: 21.09.2006
Адрес: Бельцы
Сообщений: 309
CHAOSMASTER пока неопределено
Отправить сообщение для CHAOSMASTER с помощью ICQ
По умолчанию

Цитата:
Сообщение от [b
Цитата[/b] (alexf2000 @ Июн 06 2007,10:04)]Оно считает обращения, так что никакой разумный интервал не поможет. ИП меняй.
сенкс. значит яху строго через прокси...
__________________
Астральный Блог Дорвейщика
Говорят, он отправился в путешествие, в страну, где ходят, не оставляя следов. Его уже не найдут, но все обретут его...
http://userbars.us/data/thumbnails/11/Agnostic.jpg
CHAOSMASTER вне форума   Ответить с цитированием
Старый 06.06.2007, 17:53   #4
beaver1971
Местный
 
Аватар для beaver1971
 
Регистрация: 09.01.2007
Адрес: В глубине Алтайских степей
Сообщений: 761
beaver1971 пока неопределено
Отправить сообщение для beaver1971 с помощью ICQ
По умолчанию

яху парсю не переставая четвертые сутки с одного айпишника, бана нет.
разумный предел есть, весь прикол случайно раскопал
__________________
Обманешь google - будешь в топе. Забанит google - будешь в ж...
Бесплатно: русские кейворды
beaver1971 вне форума   Ответить с цитированием
Старый 06.06.2007, 18:40   #5
dimok
PPC MAFIA
 
Регистрация: 06.07.2004
Сообщений: 1,871
dimok - очень-очень хороший человекdimok - очень-очень хороший человекdimok - очень-очень хороший человекdimok - очень-очень хороший человекdimok - очень-очень хороший человек
По умолчанию

яхо раньше парсился без проблем, сейчас изобретать надо...
dimok вне форума   Ответить с цитированием
Старый 06.06.2007, 19:26   #6
CHAOSMASTER
Местный
 
Аватар для CHAOSMASTER
 
Регистрация: 21.09.2006
Адрес: Бельцы
Сообщений: 309
CHAOSMASTER пока неопределено
Отправить сообщение для CHAOSMASTER с помощью ICQ
По умолчанию

Бивер - колись
назвался груздём - полезай в короб
__________________
Астральный Блог Дорвейщика
Говорят, он отправился в путешествие, в страну, где ходят, не оставляя следов. Его уже не найдут, но все обретут его...
http://userbars.us/data/thumbnails/11/Agnostic.jpg
CHAOSMASTER вне форума   Ответить с цитированием
Старый 06.06.2007, 19:31   #7
beaver1971
Местный
 
Аватар для beaver1971
 
Регистрация: 09.01.2007
Адрес: В глубине Алтайских степей
Сообщений: 761
beaver1971 пока неопределено
Отправить сообщение для beaver1971 с помощью ICQ
По умолчанию

а все в моем ответе, промежуток между запросами от ... и до ..., каждый раз выбирается случайным образом, время (в секундах, вернее десятках секунд) вместо точек подбирайте сами.
__________________
Обманешь google - будешь в топе. Забанит google - будешь в ж...
Бесплатно: русские кейворды
beaver1971 вне форума   Ответить с цитированием
Старый 06.06.2007, 19:36   #8
Гость
 
Сообщений: n/a
По умолчанию

Не парьте хуйню, нармально парсится. Таймаут реальный выставьте. На поезд что-ли опаздываешь когда парсишь?
  Ответить с цитированием
Старый 06.06.2007, 19:51   #9
beaver1971
Местный
 
Аватар для beaver1971
 
Регистрация: 09.01.2007
Адрес: В глубине Алтайских степей
Сообщений: 761
beaver1971 пока неопределено
Отправить сообщение для beaver1971 с помощью ICQ
По умолчанию

Птолемей, реальный - это какой?
просто я неделю подбирал таймаут (ну чтоб не банил и чтоб времени много не терять), потом плюнул и сделал по своему, теперь среднее время на один запрос меньше минимального фиксированного не приводящего к бану
__________________
Обманешь google - будешь в топе. Забанит google - будешь в ж...
Бесплатно: русские кейворды
beaver1971 вне форума   Ответить с цитированием
Старый 06.06.2007, 20:04   #10
ruskii
Местный
 
Аватар для ruskii
 
Регистрация: 21.02.2007
Сообщений: 125
ruskii пока неопределено
Отправить сообщение для ruskii с помощью ICQ
По умолчанию

с проксами и в 10 потоков = вся выдача за пару секунд.

хули парится таймаутами, когда проксы под носом?


я порожаюсь вам мужики, мне бы столько свободного времени, сколько вы на таймауты и подборы оных тратите...
__________________
Работай ради идеи, а не ради денег, потому что деньги - это следствие грамотно отработанной идеи.
Создай свой MP3 бизнес
ruskii вне форума   Ответить с цитированием
Ответ


Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Быстрый переход


Часовой пояс GMT, время: 12:08.


Powered by vBulletin® Version 3.7.4
Copyright ©2000 - 2009, Jelsoft Enterprises Ltd. Перевод: zCarot