Ни для кого не секрет, что популярные поисковики Google и Yandex не дают себя спарсить, выдавая капчу при большом количестве запросов. Но всегда есть некоторые лазейки.

Как вариант - берем кучу бесплатных, даже неанонимных прокси, и преспокойно парсим поисковики, пока прокся не будет забанена. Но проблема в том, что списки проксей надо постоянно обновлять, и скорость их работы оставляет желать лучшего.

Люди, которые следят за новостями в области интернет-технологий, с легкостью вспомнят, что пару лет назад, Mail стал транслировать выдачу Яндекса. Скажете, что там люди не дураки и капча там тоже присутствует? Конечно это так.

Я перепробовал парсить приличное количество поисковиков, но подобной темы, как у мэйла, я не видел. Прикол в том, что вы парсите, парсите… потом идет в выдачу капча, но вы снова делаете запрос и уже видите опять нормальную выдачу. И этот процесс цикличен. В цифрах я вам не скажу, сколько запросов можно сделать до бана, сам просто не считал, но число приличное:)

Хочу еще заметить один ньюас. Подобная ситуация с капчей выходит только при парсинге в несколько потоков! Если же все делать в один поток, то капчу вы вряд ли увидите, но и скорость соответствующая. Я капчи так и не дождался:)

Удачи вам с мэйлом!