{
  "сайт": "webforagents.site",
  "обновлено": "2026-08-29T07:37:03+00:00",
  "наблюдение_с": "2026-07-27",
  "дней_под_наблюдением": 34,
  "как_считано": {
    "правило": "User-Agent — это ЗАЯВЛЕНИЕ, а не факт. Каждое обращение сверяется с опубликованными оператором диапазонами адресов, либо обратным DNS с подтверждением прямым запросом.",
    "накопление": "Логи ротируются daily/rotate 14. Посчитанный день сохраняется в журнале состояния и не теряется, когда лог удаляют. Счётчик не сбрасывается.",
    "источники_диапазонов": [
      "https://claude.com/crawling/bots.json",
      "https://developers.google.com/static/search/apis/ipranges/googlebot.json",
      "https://developers.google.com/static/search/apis/ipranges/special-crawlers.json",
      "https://openai.com/chatgpt-user.json",
      "https://openai.com/gptbot.json",
      "https://openai.com/searchbot.json",
      "https://www.bing.com/toolbox/bingbot.json",
      "https://www.perplexity.ai/perplexitybot.json"
    ],
    "непроверяемые_операторы": [
      "ByteDance",
      "Cohere",
      "CommonCrawl",
      "Meta"
    ]
  },
  "итого": {
    "подтверждённых_запросов": 1342,
    "неподтверждённых_запросов": 4585,
    "проверить_нечем": 223,
    "разобрано_строк_лога_в_этом_прогоне": 16902
  },
  "боты": [
    {
      "бот": "ClaudeBot",
      "оператор": "Anthropic",
      "подтверждённых_запросов": 333,
      "неподтверждённых_запросов": 205,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 12,
      "уникальных_адресов_самозванцев": 10,
      "первый_визит": "2026-07-27",
      "последний_визит": "2026-08-29",
      "частые_пути": [
        {
          "путь": "/robots.txt",
          "запросов": 109
        },
        {
          "путь": "/sitemap-index.xml",
          "запросов": 92
        },
        {
          "путь": "/sitemap.xml",
          "запросов": 17
        },
        {
          "путь": "/agent-ready-web",
          "запросов": 2
        },
        {
          "путь": "/agent-ready-web/",
          "запросов": 2
        }
      ]
    },
    {
      "бот": "GPTBot",
      "оператор": "OpenAI",
      "подтверждённых_запросов": 228,
      "неподтверждённых_запросов": 303,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 22,
      "уникальных_адресов_самозванцев": 14,
      "первый_визит": "2026-07-27",
      "последний_визит": "2026-08-29",
      "частые_пути": [
        {
          "путь": "/sitemap-index.xml",
          "запросов": 15
        },
        {
          "путь": "/sitemap.xml",
          "запросов": 15
        },
        {
          "путь": "/",
          "запросов": 10
        },
        {
          "путь": "/crm/dashboard/",
          "запросов": 4
        },
        {
          "путь": "/index.md",
          "запросов": 3
        }
      ]
    },
    {
      "бот": "Googlebot",
      "оператор": "Google",
      "подтверждённых_запросов": 202,
      "неподтверждённых_запросов": 54,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 13,
      "уникальных_адресов_самозванцев": 18,
      "первый_визит": "2026-07-27",
      "последний_визит": "2026-08-29",
      "частые_пути": [
        {
          "путь": "/robots.txt",
          "запросов": 17
        },
        {
          "путь": "/",
          "запросов": 9
        },
        {
          "путь": "/_astro/_slug_.Syi-Bs7M.css",
          "запросов": 8
        },
        {
          "путь": "/ai-visibility/",
          "запросов": 7
        },
        {
          "путь": "/faq.de.md",
          "запросов": 6
        }
      ]
    },
    {
      "бот": "bingbot",
      "оператор": "Microsoft",
      "подтверждённых_запросов": 179,
      "неподтверждённых_запросов": 86,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 104,
      "уникальных_адресов_самозванцев": 8,
      "первый_визит": "2026-07-27",
      "последний_визит": "2026-08-28",
      "частые_пути": [
        {
          "путь": "/sitemap.xml",
          "запросов": 29
        },
        {
          "путь": "/robots.txt",
          "запросов": 23
        },
        {
          "путь": "/sitemap.xml.gz",
          "запросов": 17
        },
        {
          "путь": "/atom.xml",
          "запросов": 13
        },
        {
          "путь": "/sitemap_index.xml",
          "запросов": 13
        }
      ]
    },
    {
      "бот": "Google-Extended",
      "оператор": "Google",
      "подтверждённых_запросов": 149,
      "неподтверждённых_запросов": 0,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 6,
      "уникальных_адресов_самозванцев": 0,
      "первый_визит": "2026-08-06",
      "последний_визит": "2026-08-28",
      "частые_пути": [
        {
          "путь": "/app/.env",
          "запросов": 2
        },
        {
          "путь": "/api/config",
          "запросов": 2
        },
        {
          "путь": "/@fs/root/.azure/credentials?raw??",
          "запросов": 2
        },
        {
          "путь": "/@fs/home/ubuntu/.ovh.conf?raw??",
          "запросов": 2
        },
        {
          "путь": "/proxy?url=http%3A%2F%2Fmetadata.google.internal%2FcomputeMetadata%2Fv1%2Finstance%2Fservice-accounts%2Fdefault%2Ftoken",
          "запросов": 2
        }
      ]
    },
    {
      "бот": "OAI-SearchBot",
      "оператор": "OpenAI",
      "подтверждённых_запросов": 123,
      "неподтверждённых_запросов": 279,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 39,
      "уникальных_адресов_самозванцев": 14,
      "первый_визит": "2026-07-27",
      "последний_визит": "2026-08-29",
      "частые_пути": [
        {
          "путь": "/robots.txt",
          "запросов": 46
        },
        {
          "путь": "/",
          "запросов": 2
        },
        {
          "путь": "/es/contact/",
          "запросов": 1
        },
        {
          "путь": "/es/docs/",
          "запросов": 1
        },
        {
          "путь": "/ai-visibility/",
          "запросов": 1
        }
      ]
    },
    {
      "бот": "Amazonbot",
      "оператор": "Amazon",
      "подтверждённых_запросов": 104,
      "неподтверждённых_запросов": 1122,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 88,
      "уникальных_адресов_самозванцев": 12,
      "первый_визит": "2026-07-28",
      "последний_визит": "2026-08-28",
      "частые_пути": [
        {
          "путь": "/about/",
          "запросов": 3
        },
        {
          "путь": "/",
          "запросов": 3
        },
        {
          "путь": "/agent-qa/",
          "запросов": 3
        },
        {
          "путь": "/agent-ready-web/",
          "запросов": 3
        },
        {
          "путь": "/ai-visibility/",
          "запросов": 3
        }
      ]
    },
    {
      "бот": "GoogleOther",
      "оператор": "Google",
      "подтверждённых_запросов": 12,
      "неподтверждённых_запросов": 38,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 3,
      "уникальных_адресов_самозванцев": 3,
      "первый_визит": "2026-08-07",
      "последний_визит": "2026-08-28",
      "частые_пути": [
        {
          "путь": "/crm/agents/",
          "запросов": 2
        },
        {
          "путь": "/crm/login/?next=/crm/agents/",
          "запросов": 2
        },
        {
          "путь": "/crm/static/core.css?v=20260501-librechat",
          "запросов": 2
        },
        {
          "путь": "/crm/",
          "запросов": 1
        },
        {
          "путь": "/crm/dashboard/",
          "запросов": 1
        }
      ]
    },
    {
      "бот": "Applebot",
      "оператор": "Apple",
      "подтверждённых_запросов": 7,
      "неподтверждённых_запросов": 48,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 5,
      "уникальных_адресов_самозванцев": 4,
      "первый_визит": "2026-08-07",
      "последний_визит": "2026-08-28",
      "частые_пути": [
        {
          "путь": "/robots.txt",
          "запросов": 3
        },
        {
          "путь": "/",
          "запросов": 2
        },
        {
          "путь": "/_astro/_slug_.Syi-Bs7M.css",
          "запросов": 2
        }
      ]
    },
    {
      "бот": "ChatGPT-User",
      "оператор": "OpenAI",
      "подтверждённых_запросов": 5,
      "неподтверждённых_запросов": 589,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 3,
      "уникальных_адресов_самозванцев": 36,
      "первый_визит": "2026-07-27",
      "последний_визит": "2026-08-29",
      "частые_пути": [
        {
          "путь": "/es/docs/",
          "запросов": 1
        },
        {
          "путь": "/ai-visibility/",
          "запросов": 1
        },
        {
          "путь": "/es/contact/",
          "запросов": 1
        },
        {
          "путь": "/",
          "запросов": 1
        }
      ]
    },
    {
      "бот": "CCBot",
      "оператор": "CommonCrawl",
      "подтверждённых_запросов": 0,
      "неподтверждённых_запросов": 0,
      "проверить_нечем": 87,
      "уникальных_адресов_подтверждённых": 0,
      "уникальных_адресов_самозванцев": 8,
      "первый_визит": "2026-07-27",
      "последний_визит": "2026-08-28",
      "частые_пути": []
    },
    {
      "бот": "PerplexityBot",
      "оператор": "Perplexity",
      "подтверждённых_запросов": 0,
      "неподтверждённых_запросов": 233,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 0,
      "уникальных_адресов_самозванцев": 14,
      "первый_визит": "2026-07-27",
      "последний_визит": "2026-08-28",
      "частые_пути": []
    },
    {
      "бот": "YandexBot",
      "оператор": "Yandex",
      "подтверждённых_запросов": 0,
      "неподтверждённых_запросов": 57,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 0,
      "уникальных_адресов_самозванцев": 8,
      "первый_визит": "2026-07-27",
      "последний_визит": "2026-08-28",
      "частые_пути": []
    },
    {
      "бот": "DuckDuckBot",
      "оператор": "DuckDuckGo",
      "подтверждённых_запросов": 0,
      "неподтверждённых_запросов": 31,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 0,
      "уникальных_адресов_самозванцев": 3,
      "первый_визит": "2026-08-07",
      "последний_визит": "2026-08-28",
      "частые_пути": []
    },
    {
      "бот": "Claude-User",
      "оператор": "Anthropic",
      "подтверждённых_запросов": 0,
      "неподтверждённых_запросов": 1456,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 0,
      "уникальных_адресов_самозванцев": 6,
      "первый_визит": "2026-08-06",
      "последний_визит": "2026-08-28",
      "частые_пути": []
    },
    {
      "бот": "meta-externalagent",
      "оператор": "Meta",
      "подтверждённых_запросов": 0,
      "неподтверждённых_запросов": 0,
      "проверить_нечем": 104,
      "уникальных_адресов_подтверждённых": 0,
      "уникальных_адресов_самозванцев": 41,
      "первый_визит": "2026-08-11",
      "последний_визит": "2026-08-28",
      "частые_пути": []
    },
    {
      "бот": "Claude-SearchBot",
      "оператор": "Anthropic",
      "подтверждённых_запросов": 0,
      "неподтверждённых_запросов": 29,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 0,
      "уникальных_адресов_самозванцев": 1,
      "первый_визит": "2026-08-28",
      "последний_визит": "2026-08-28",
      "частые_пути": []
    },
    {
      "бот": "Bytespider",
      "оператор": "ByteDance",
      "подтверждённых_запросов": 0,
      "неподтверждённых_запросов": 0,
      "проверить_нечем": 32,
      "уникальных_адресов_подтверждённых": 0,
      "уникальных_адресов_самозванцев": 1,
      "первый_визит": "2026-08-28",
      "последний_визит": "2026-08-28",
      "частые_пути": []
    },
    {
      "бот": "Perplexity-User",
      "оператор": "Perplexity",
      "подтверждённых_запросов": 0,
      "неподтверждённых_запросов": 55,
      "проверить_нечем": 0,
      "уникальных_адресов_подтверждённых": 0,
      "уникальных_адресов_самозванцев": 1,
      "первый_визит": "2026-08-28",
      "последний_визит": "2026-08-28",
      "частые_пути": []
    }
  ],
  "по_дням": [
    {
      "день": "2026-07-27",
      "GPTBot": 1,
      "Googlebot": 3,
      "OAI-SearchBot": 2
    },
    {
      "день": "2026-07-28",
      "ClaudeBot": 12,
      "Googlebot": 1,
      "bingbot": 14,
      "Amazonbot": 1,
      "GPTBot": 2,
      "OAI-SearchBot": 2
    },
    {
      "день": "2026-07-29",
      "Googlebot": 7,
      "bingbot": 14,
      "ClaudeBot": 6,
      "OAI-SearchBot": 2,
      "GPTBot": 1
    },
    {
      "день": "2026-07-30",
      "ClaudeBot": 20,
      "bingbot": 10,
      "Googlebot": 7,
      "OAI-SearchBot": 2,
      "GPTBot": 12
    },
    {
      "день": "2026-07-31",
      "ClaudeBot": 73,
      "bingbot": 1,
      "Googlebot": 1,
      "GPTBot": 1,
      "OAI-SearchBot": 2
    },
    {
      "день": "2026-08-01",
      "ClaudeBot": 22,
      "bingbot": 1,
      "GPTBot": 2,
      "OAI-SearchBot": 2
    },
    {
      "день": "2026-08-02",
      "ClaudeBot": 18,
      "OAI-SearchBot": 2,
      "GPTBot": 1
    },
    {
      "день": "2026-08-03",
      "ClaudeBot": 18,
      "Googlebot": 4,
      "GPTBot": 2,
      "OAI-SearchBot": 2
    },
    {
      "день": "2026-08-04",
      "ClaudeBot": 22,
      "bingbot": 1,
      "Amazonbot": 1,
      "Googlebot": 6,
      "GPTBot": 1,
      "OAI-SearchBot": 2
    },
    {
      "день": "2026-08-05",
      "ClaudeBot": 18,
      "Amazonbot": 16,
      "bingbot": 2,
      "GPTBot": 2,
      "OAI-SearchBot": 2
    },
    {
      "день": "2026-08-06",
      "ClaudeBot": 22,
      "Amazonbot": 19,
      "OAI-SearchBot": 2,
      "GPTBot": 1,
      "Google-Extended": 27
    },
    {
      "день": "2026-08-07",
      "Amazonbot": 7,
      "ClaudeBot": 2,
      "Googlebot": 4,
      "bingbot": 3,
      "OAI-SearchBot": 2,
      "GPTBot": 1
    },
    {
      "день": "2026-08-08",
      "bingbot": 4,
      "Googlebot": 5,
      "Amazonbot": 2,
      "ClaudeBot": 26,
      "OAI-SearchBot": 2,
      "GPTBot": 1
    },
    {
      "день": "2026-08-09",
      "ClaudeBot": 16,
      "Googlebot": 4,
      "Amazonbot": 8,
      "bingbot": 3,
      "OAI-SearchBot": 2,
      "GPTBot": 1
    },
    {
      "день": "2026-08-10",
      "GPTBot": 1,
      "OAI-SearchBot": 2,
      "Googlebot": 5,
      "Amazonbot": 2,
      "Google-Extended": 15
    },
    {
      "день": "2026-08-11",
      "Amazonbot": 4,
      "OAI-SearchBot": 2,
      "GPTBot": 1
    },
    {
      "день": "2026-08-12",
      "GPTBot": 75,
      "Googlebot": 1,
      "OAI-SearchBot": 4,
      "bingbot": 21,
      "Amazonbot": 4,
      "Google-Extended": 22
    },
    {
      "день": "2026-08-13",
      "Googlebot": 4,
      "OAI-SearchBot": 37,
      "ChatGPT-User": 4,
      "Google-Extended": 22,
      "Amazonbot": 2,
      "GPTBot": 2,
      "bingbot": 2
    },
    {
      "день": "2026-08-14",
      "bingbot": 32,
      "Amazonbot": 2,
      "GPTBot": 2,
      "OAI-SearchBot": 2,
      "Applebot": 1
    },
    {
      "день": "2026-08-15",
      "bingbot": 14,
      "Googlebot": 9,
      "OAI-SearchBot": 4,
      "Amazonbot": 3,
      "GPTBot": 3
    },
    {
      "день": "2026-08-16",
      "bingbot": 12,
      "Googlebot": 4,
      "GPTBot": 3,
      "OAI-SearchBot": 5,
      "Amazonbot": 3
    },
    {
      "день": "2026-08-17",
      "bingbot": 8,
      "Amazonbot": 1,
      "Googlebot": 4,
      "OAI-SearchBot": 4,
      "GPTBot": 3,
      "Applebot": 6
    },
    {
      "день": "2026-08-18",
      "Googlebot": 9,
      "Amazonbot": 1,
      "bingbot": 4,
      "OAI-SearchBot": 4,
      "GPTBot": 3
    },
    {
      "день": "2026-08-19",
      "bingbot": 5,
      "Amazonbot": 2,
      "OAI-SearchBot": 3,
      "Google-Extended": 32,
      "GPTBot": 2,
      "Googlebot": 5
    },
    {
      "день": "2026-08-20",
      "bingbot": 3,
      "OAI-SearchBot": 3,
      "Googlebot": 19,
      "GPTBot": 33,
      "GoogleOther": 12,
      "Amazonbot": 3
    },
    {
      "день": "2026-08-21",
      "bingbot": 2,
      "OAI-SearchBot": 3,
      "Googlebot": 22,
      "Amazonbot": 4,
      "GPTBot": 2
    },
    {
      "день": "2026-08-22",
      "Googlebot": 35,
      "Amazonbot": 8,
      "bingbot": 5,
      "GPTBot": 18,
      "OAI-SearchBot": 2
    },
    {
      "день": "2026-08-23",
      "Googlebot": 19,
      "bingbot": 2,
      "OAI-SearchBot": 2,
      "GPTBot": 2,
      "Amazonbot": 3
    },
    {
      "день": "2026-08-24",
      "Googlebot": 7,
      "bingbot": 5,
      "OAI-SearchBot": 1,
      "GPTBot": 3
    },
    {
      "день": "2026-08-25",
      "bingbot": 2,
      "Amazonbot": 1,
      "Googlebot": 9,
      "GPTBot": 2,
      "OAI-SearchBot": 2
    },
    {
      "день": "2026-08-26",
      "Amazonbot": 2,
      "bingbot": 4,
      "Googlebot": 2,
      "GPTBot": 3,
      "OAI-SearchBot": 1
    },
    {
      "день": "2026-08-27",
      "Googlebot": 2,
      "OAI-SearchBot": 9,
      "Amazonbot": 3,
      "GPTBot": 2,
      "bingbot": 2
    },
    {
      "день": "2026-08-28",
      "bingbot": 3,
      "OAI-SearchBot": 3,
      "GPTBot": 2,
      "Amazonbot": 2,
      "Google-Extended": 31
    },
    {
      "день": "2026-08-29",
      "Googlebot": 4,
      "OAI-SearchBot": 2,
      "GPTBot": 37,
      "ChatGPT-User": 1,
      "ClaudeBot": 58
    }
  ]
}