Одно из важнейших преимуществ Key Collector - возможность многопоточного парсинга, который в разы ускоряет составление семантического ядра. Однако парсинг может стать причиной блокировки IP-адреса в сети, но этого легко избежать.
В сети есть инструкции по настройке работы Key Collector через платные или бесплатные прокси сервера. А сегодня мы расскажем об еще одном способе - парсинге при помощи браузера ТОР. Настройка очень простая, подходит даже для новичков.

Устанавливаем и настраиваем ТОР

ТОР — это браузер, который содержит встроенные настройки прокси-серверов, гарантирующие анонимность пользователей в сети.  Его функционал помогает обойти различные блокировки. Что немаловажно — совершенно бесплатно.

Итак, приступим.

1. Скачайте ТОР с официального сайт https://www.torproject.org/ и установите на компьютер как обычную программу.

2. Если браузер установлен – убедитесь что используете последнюю версию. Ее можно посмотреть здесь: Menu-Help-About Tor Browser

 

3. Запустите браузер и  убедитесь что его не блокирует антивирус или фаервол, и у вашего профиля достаточно прав на его использование. Если проблемы есть, добавьте программу в исключения по инструкции вашего антивируса. 

 

 

Подключение ТОР к Key Collector

 

4. Скачиваем дополнительную программу, которая которая при открытом браузере ТОР формирует необходимое количество количество прокси адресов.

В архиве вы найдете 4 файла:

  1. launch – файл запуска прокси сервиса. 
  2. stop – останавливает прокси. 
  3. proxyList – список прокси которые будем использовать. Файл создаётся после запуска прокси. 
  4. TestProject.xmlz – демонстрационный проект который показывает процесс работы с прокси. 

Нас в первую очередь интересует количество потоков прокси.  Его можно отредактировать в первой строке файла launch. Открываем его любым текстовым редактором и прописываем требуемое количество потоков. 

Количество потоков ограничено лишь возможностями вашего ПК и пропускной способностью вашего интернета. Но для начала лучше не превышать 15 потоков, обычно этого достаточно.

Во второй строке этого файла можно получить прокси конкретной страны, если это необходимо.
После внесения правок сохраняем файл.

5. Запускаем файл launch.

6. В папке с программой должен появится файл с адресами прокси proxyList. При этом в диспетчере задач должны появится процессы TOР, равные количеству потоков, прописанных в файле launch.  

Настройка Key Collector

7. Переходим в настройки Key Collector на вкладку “Сеть” и ставим отметку “Использовать прокси серверы” и выбираем тип прокси “SOCKS5”:

 

8. Нажимаем “загрузить из файла” и указываем путь файла с прокси proxyList

 

 

Затем желательно проверить работоспособность прокси: зеленые будут допущены к парсингу. 

9. Дополнительно выставляем в Key Collector такие настройки: 

Для парсинга Яндекс Вордстат выставляем количество потоков меньше, чем количество рабочих аккаунтов Яндекс Директ, которые мы используем для парсинга. 

Вот и все. Key Collector настроен на многопоточный парсинг и готов к работе.