Підключення багатопотокового парсинга в Key Collector через браузер ТОР

Встановлюємо та налаштовуємо ТОР

ТОР – це браузер, який містить вбудовані налаштування проксі-серверів, що гарантують анонімність користувачів в мережі. Його функціонал допомагає обійти різні блокування. Що важливо – абсолютно безкоштовно. Отже, приступимо.

1. Завантажте ТОР з офіційного сайту https://www.torproject.org/ і встановіть на комп’ютер як звичайну програму.

2. Якщо браузер встановлений – переконайтеся, що використовуєте останню версію. Її можна подивитися тут: Menu-Help-About Tor Browser
 3. Запустіть браузер і переконайтеся, що його не блокує антивірус або файєрвол, і у вашого профілю досить прав на його використання. Якщо проблеми є, додайте програму до виключень згідно інструкції вашого антивіруса.   

Підключення ТОР до Key Collector

4. Завантажуємо додаткову програму, яка при відкритому браузері ТОР формує необхідну кількість проксі адрес. В архіві ви знайдете 4 файла:

1. launch – файл запуску проксі сервісу.
2. stop – зупиняє проксі. 
3. proxyList – список проксі, які будемо використовувати. Файл створюється після запуску проксі.
4. TestProject.xmlz – демонстраційний проект, який показує процес роботи з проксі.

Нас в першу чергу цікавить кількість потоків проксі. Її можна відредагувати в першому рядку файлу launch. Відкриваємо його будь-яким текстовим редактором і прописуємо необхідну кількість потоків.
Кількість потоків обмежена лише можливостями вашого ПК і пропускною спроможністю вашого інтернету. Але для початку краще не перевищувати 15 потоків, зазвичай цього достатньо. У другому рядку цього файлу можна отримати проксі конкретної країни, якщо це необхідно. Після внесення правок зберігаємо файл.

5. Запускаємо файл launch.

6. У теці з програмою повинен з’явиться файл з адресами проксі proxyList. При цьому в диспетчері завдань повинні з’явиться процеси TOР, рівні кількості потоків, прописаних у файлі launch.

Налаштування Key Collector

7. Переходимо в налаштування Key Collector на вкладку “Мережа” і ставимо позначку “Використовувати проксі сервери” і вибираємо тип проксі “SOCKS5”:
  8. Натискаємо “завантажити з файлу” і вказуємо шлях до файлу з проксі proxyList.    Потім бажано перевірити працездатність проксі: зелені будуть допущені до парсингу.

9. Додатково виставляємо в Key Collector такі налаштування: Для парсинга Яндекс Вордстат виставляємо кількість потоків менше, ніж кількість робочих акаунтів Яндекс Директ, які ми використовуємо для парсинга. От і все. Key Collector налаштований на багатопотоковий парсинг і готовий до роботи.