При первичном рассмотрении - кончилось место на диске. Но ведь у нас буквально в начале недели было 30 Гб свободных, а тут пусто. Пошли разбираться. Первая же идея куда делось место оказалась верной - кеш. Очистили кеш - ушло 50 Гб. Сайт завелся.
Но вопрос остается - какого черта? Сайт на битриксе. Стоит автокеширование. Стоит очистка кеша автоматическая - что бы не происходило переполнения диска. Откуда? Пока разбирались - проверили кеш - за пол часа 15 Гб появилось. 0_0
Пошли смотреть логи и увидели следующее:
57\.141.20.45 - - [05/Sep/2026:22:08:14 +0300] "GET /catalog/elektrokvadrotsikly/kvadrotsikly_dlya_vzroslykh/kvadrotsikl_greencamel_sahara_a4500_4x4_72v_4000w_r12_alum_differentsial_chernyy/ HTTP/1.0" 200 1082524 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36 (compatible; meta-externalagent/1.1 (+[https://developers.facebook.com/docs/sharing/webmasters/crawler](https://developers.facebook.com/docs/sharing/webmasters/crawler)))" 646862
И таких запросов тьмы и тьмы. 1 360 000 запросов за неполные сутки. Причем браузерных - а не просто краулер кода. И все с подсети 57.141.x.x
`57.141.0.0/16` (сеть с именем `FB-BLOCK`) официально зарегистрирован на Meta Platforms Ireland Limited.
Последние пару лет Meta* использует этот же User-Agent для сбора данных под обучение своих AI-моделей (аналог GPTBot у OpenAI), и он известен тем, что: \- обходит сайт очень агрессивно, целыми каталогами товаров, а не по одной ссылке при шеринге;\- часто заходит с десятков разных IP из своей подсети одновременно, что вы и видите — почти весь `/24` диапазон, по 5–6 тыс. запросов с каждого IP; \- по сообщениям многих админов, слабо уважает `Crawl-delay` и иногда игнорирует часть правил `robots.txt`.Естественно у нас сервер под такую нагрузку не был рассчитан и кеш просто не успевал очищаться (но надо отдать должное - скорость работы сервера до переполнения не страдала)
Что сделали? Да просто заблокировали на стороне сервера (благо у нас VDS а не простой сервер)
server { ... deny 57.141.0.0/16; error_page 403 = @blocked; location @blocked { return 444; } ...}
По факту мета просто запустила рой агентов на наш сайт что бы собрать максимальное количество данных. Либо агенты сами размножились и запускались. Кто же их разберет.
Ну а пока пошли настраивать сервер на ограничение количества запросов, что бы больше такого не случилось от других агентов.
*Meta (признана экстремистской организацией, деятельность на территории РФ запрещена)