Паука - на чем писать?

cloneman · 10.05.2007, 08:38

Тут назрел такой вопрос - специализированный минипоисковик

Вот и стал голову ломать - а на чём же краулеров пишут?
которые денно и нощьно аки пчёлки грабят контент, потом пересчитываются индексы

Лучше всего конечно Unimaximus ответил бы

Заранее спасибо

SEOadministrator · 10.05.2007, 09:08

в випе поройся, он чтото расказывал

voodoo · 10.05.2007, 11:13

на яве пиши

Profaner · 10.05.2007, 13:02

Тогда уж сразу на Васике

Eddie · 10.05.2007, 14:59

cloneman, если тебе надо быстро сделать, то пиши на Perl. Модуль LWP::UserAgent тебе в помощь.

mavook · 10.05.2007, 15:42

такие вещи на интерпретаторах не пишутся
нужен имхо машинный код

vertigo · 10.05.2007, 15:42

на питоне такие вещи пишут вроде

cloneman · 10.05.2007, 16:09

Цитата:

Сообщение от [b

Цитата[/b] (vertigo @ Май 10 2007,10:42)]на питоне такие вещи пишут вроде

спасибо!

smsm · 10.05.2007, 17:59

Цитата:

Сообщение от [b

Цитата[/b] (mavook @ Май 10 2007,10:42)]такие вещи на интерпретаторах не пишутся
нужен имхо машинный код

можно и на них.
так как загрузить канал гигабитный данными гораздо легче, чем 100% современного процесстора, при грамотном кодировании.
но вот краулинг и обработка напарсенного - это ведь разные задачи

jonn22 · 10.05.2007, 19:27

+1 за обработка сложнее

Опции темы
Версия для печати Отправить по электронной почте
Опции просмотра
Линейный вид Комбинированный вид Древовидный вид