Собственная Google-Bot ферма

1. Собственная Google-Bot ферма | Доры не RIP

Александр Молодой
дорвейщик
• 16.07.2022

2. Ничего лишнего

3. Активность ботов на домене под санкциями

4. Санкции

5. Пример результата сканирования

6. Пример результата с трафиком

7.

8. Техничка: что нужно для собственной PDF (Private Doorway Farm)

Парсинг и генерация контента
Поиск дропов
Онлайн логи
Заманить бота на новый сайт

9. Парсинг и генерация контента

Сниппеты, QA
Тайтлы
Релейтеды
Дубли и чистка
Скрипт для генерации
случайной страницы

10. Дропы

• Поиск на ExpiredDomains
• Используйте локальные зоны
.DE .FR .CZ .PL и другие

11. Анализ дропов

• Проверяем имя домена без точки в выдаче гугла
• Подходит

12. Анализ дропов

• Вместо главной внутряк
• Не подходит

13. Анализ дропов

• Тоже нет главной + фильтр за бренд
• Не подходит

14. Анализ дропов

• Проверяем уникальность текста в сохраненке
или через WebArchive

15. Рекомендации по дропам

• Не используйте свежереги и дешевые
доменные зоны (.site, .xyz, link и т.д.)
• Тестируйте разные зоны по несколько
доменов
• Каждая доменная зона работает по
разному, не спешите делать выводы

16. Онлайн логи

• Создаем стату посещения ботов для каждого домена

17. Как заманить ГуглБота

• Используем стандартные методы, о которых говорит
сам гугл:
https://www.google.com/ping?sitemap=https://www.site.com/sitemap.xml

18. Как заманить ГуглБота

• Автоматизируем процесс

19.

20.

21. Общие рекомендации #1

• В robots.txt указывайте ссылки на sitemap.xml
• В sitemap.xml указывайте ссылки на дочерние
карты (sitemap-1.xml…sitemap-20.xml)
• В дочерних картах показывайте свежую дату и
новые url, не более 2000 страниц в каждом
• В заголовках Last Modified указывайте свежую
дату
• Используйте https://, бот доверительнее
относится к таким страницам

22. Общие рекомендации #2

• Добавляйте к каждому домену несколько
сабдоменов. Если бот не идет на основной
домен, пробуйте пинговать sitemap.xml
сабдоменов, так же пробуйте пинговать
сразу дочерние sitemap в обход основного
• На живые сайты будут заходить реальные
посетители, продумайте функционал по
сливу и конвертации данного трафика
(используйте клоаку или редиректы для
посетителей с Referer от поисковиков)

23. Общие рекомендации #3

• Настройте 301 редирект со старых страниц на
любую внутреннюю для Гугла
• Сервер должен иметь быстрый отклик и
отдавать страницы моментально:
• Блокируйте на стороне сервера bad-bot, что
бы уменьшить нагрузку
• Страница должна быть легкой (минимум
верстки + Mobile-Friendly)

24. Общие рекомендации #4

• Создавайте разные структуры страниц,
фиксируйте и анализируйте
• Подбирайте мощность сервера/VPS с запасом:
заранее предусмотрите большой наплыв
ботов
Отдавайте контент только Googleботу по диапазону IP: 62.249.*.*

25. Область применения

–
При сливе ботов с фермы на новые страницы, старайтесь не направлять бота на
одну и ту же страницу более 2 раз. На практике одного-двух заходов хватает для
успешной индексации.
Наша реализация с бесконечными страницами

26. Область применения

– Используйте 302-редирект, это позволит не склеить и
не передать содержимое страницы донора на новый
домен.

27. Пример быстрого трафика

28. Нашумевший пример )

Разбор на инглише
Разбор на русском

29. Благодарю за внимание

Моя Телега
@amolodoy
Чат
Дорвейщиков