Защита от обманчивых краулеров. Борьба с зашифрованным спамом GET-запросов
В свете стремительного развития технологий кибербезопасность становится неотъемлемой частью стратегии защиты организации. Одной из сложных атак, выделяющихся среди современных угроз, является спам-рассылка зашифрованных GET-запросов с использованием различных IP-адресов. Однако особую изощренность этому типу атак придает отправка запросов от имени известных приложений.
Запрос клиента и немедленный ответ команды
В компанию CQR обратился клиент с тревожной новостью: на его сайте внезапно возникли необычные проблемы. Клиент обнаружил, что на его хостинге неожиданно закончилось свободное пространство, что сопровождалось аномально высоким объемом трафика сайта. Этот всплеск был связан с хитроумной атакой, включающей рассылку зашифрованных GET-запросов. Примечательно, что в этих запросах подделывалась строка агента пользователя с именем Googlebot. В журналах клиента была обнаружена серия запросов с IP-адресов Google, направленных на разные URL-адреса сайта и быстро выполнявшихся в один и тот же день. Запросы, выполненные методом GET, содержали параметры поиска на китайском языке, что обычно ассоциируется с рекламой служб знакомств - верный признак спама. Более того, каждый запрос был замаскирован под запрос от Googlebot, о чем свидетельствовали строки User-Agent.
Суть атаки
При детальном анализе мы обнаружили, что все эти запросы были успешно обработаны сервером, о чем свидетельствовал код состояния 200. Это вызвало серьезное беспокойство, поскольку характер запросов не соответствовал типичному поведению легитимного Googlebot. Чтобы объяснить это нетехнической аудитории: представьте себе Googlebot как хорошего робота, который посещает веб-сайты, чтобы помочь им отображаться в поисковой выдаче Google. Однако в данном случае было похоже, что кто-то надел костюм Googlebot, чтобы обмануть сайт. Наши эксперты по кибербезопасности определили две вероятные тактики, использованные в этой атаке:
Подмена User-Agent - злоумышленники могли изменить User-Agent в своих HTTP-запросах, чтобы выдать себя за Googlebot. Это можно легко сделать с помощью таких инструментов, как cURL, или библиотек программирования, и это распространенная тактика обхода мер безопасности, которые доверяют трафику от авторитетных краулеров, таких как Google.
Использование открытых прокси-серверов или VPN-сервисов - злоумышленники могли направить свой трафик через открытые прокси-серверы или VPN-сервисы, некоторые из которых могут использовать диапазоны IP-адресов, связанные с Google. Этот метод затрудняет отслеживание истинного происхождения атаки и может ввести в заблуждение системы безопасности, доверяющие трафику с таких IP-адресов.
В результате такой тактики атакуемый сайт стал появляться в результатах поисковых систем с особым контентом, который использовали злоумышленники, так называемыми "полезными нагрузками". Это приводило к тому, что на сайте непреднамеренно размещался нерелевантный и потенциально вредный контент. Последствия такого инцидента весьма значительны. Он может подорвать доверие к сайту, привести к штрафам со стороны поисковых систем и исказить аналитику посещаемости сайта.
В качестве иллюстрации последствий можно привести скриншот, на котором видно, что сайт стал появляться в верхней части результатов поиска Google именно по той полезной нагрузке, которую вставили злоумышленники. Это не только распространяет нежелательный контент дальше, но и ставит под сомнение целостность и надежность пострадавшего сайта в глазах его пользователей и поисковых систем.
Решение проблемы
Обнаружив сложную атаку на свою онлайн-платформу, команда CQR оперативно приняла решительные меры по смягчению последствий и защите системы. Осознавая срочность ситуации, первым шагом стало временное отключение функции поиска на платформе. Этот стратегический шаг был направлен на предотвращение дальнейшего использования уязвимости и предоставление команде времени для оценки масштабов атаки.
Стремясь укрепить платформу от будущих вторжений, команда CQR внесла конкретные и стратегические правки в файлы robots.txt и htaccess. Эти изменения были направлены на усиление контроля доступа и предотвращение несанкционированных действий, особенно тех, кто пытался манипулировать сайтом с помощью зашифрованных GET-запросов.
Изменения в Robots.txt:
Чтобы противостоять недавней атаке, команда внесла решительные изменения в файл robots.txt, ограничив доступ бота к каталогам, подвергшимся нападению. В частности, был запрещен доступ к определенным каталогам, которые стали мишенью недавней сложной атаки. Стратегически ограничив доступ бота к этим скомпрометированным каталогам, команда эффективно снизила воздействие атаки на уязвимые участки сайта.
Кроме того, была предпринята проактивная мера по корректировке конфигурации robots.txt, направленная на регулирование частоты легитимных краулеров поисковых систем. Эта мера предосторожности была направлена на предотвращение нагрузки на ресурсы платформы и защиту от потенциальных рисков, связанных с чрезмерными попытками краулинга. Такие попытки могут свидетельствовать о более широком спектре угроз, включая возможность распределенной атаки типа "отказ в обслуживании" (DDoS). Тонкая настройка контроля доступа в файле robots.txt позволила не только устранить последствия недавней атаки, но и укрепить стратегию защиты от будущих киберугроз.
Настройки файла htaccess:
Команда вставила в файл htaccess правила для фильтрации и блокировки входящих запросов, которые в точности соответствовали шаблонам вредоносных зашифрованных GET-запросов. Для этого пришлось создать специальные правила, основанные на характеристиках атаки, таких как уникальные запросы с шифрованием UTF-8.
Кроме того, они внедрили IP-фильтрацию, чтобы заблокировать известные IP-адреса, связанные с атакой. Это послужило дополнительным уровнем защиты от злоумышленников, предотвратив их доступ к платформе и снизив вероятность дальнейших попыток.
Чтобы противостоять возможным вариациям в методологии атак, команда установила правила обнаружения аномалий в файле htaccess. Они включали в себя мониторинг входящих запросов на предмет отклонений от нормы, что позволяло системе выявлять и блокировать подозрительную активность в режиме реального времени.
Команда CQR погрузилась в инфраструктуру бэкенда и провела тщательную проверку базы данных MySQL. Основное внимание было уделено очистке базы данных от вредоносных и посторонних запросов, которые проникли в нее во время атаки и выглядели примерно так:
Эта тщательная операция по очистке была направлена не только на устранение следов недавнего инцидента, но и на повышение устойчивости системы к будущим попыткам проникновения. Приверженность команды к гигиене баз данных сыграла решающую роль в восстановлении целостности платформы.
Понимая важность защиты в режиме реального времени, команда CQR воспользовалась режимом Cloudflare "Я атакован", чтобы снизить нагрузку на процессор платформы.
Активировав эту функцию, команда создала дополнительный уровень защиты от потенциальных DDoS-атак и снизила восприимчивость системы к ресурсоемким действиям.
Подведение итогов
Если разобраться в многогранных мотивах недавней кибератаки на сайт нашего клиента, становится ясно, что каждый мотив требовал целенаправленного и стратегического ответа. От попыток очернить репутацию компании до нарушения работы конкурирующих сервисов, использования атаки в качестве отвлекающего маневра для более серьезных киберпреступлений и распространения спама или мошеннических сообщений - злоумышленники преследовали самые разные цели.
Наша команда, осознав эту обманную тактику, оперативно приняла меры по снижению воздействия. Мы внедрили продвинутые фильтры для отлова и блокировки сомнительного трафика, в частности, сфокусировавшись на тех, кто выдает себя за Googlebot, и тех, кто направляется через известные прокси- или VPN-каналы. По сути, мы установили сложные цифровые "вышибалы" на входе на сайт, чтобы остановить этих замаскированных нарушителей. Кроме того, мы посоветовали нашему клиенту внимательно следить за трафиком своего сайта на предмет выявления схожих закономерностей и рекомендовали установить более комплексные системы обнаружения и предотвращения вторжений для обеспечения надежной безопасности.
Мы также внесли конкретные изменения в веб-сайт robots.txt и .htaccess файлы. Эти файлы действуют как свод правил сайта, определяя, какие разделы должны быть доступны и кому. Доработав эти файлы, мы повысили безопасность сайта от несанкционированных краулеров и вредоносных запросов.
Наш клиент выразил удовлетворение быстрым решением проблемы и высоко оценил предоставленные комплексные рекомендации по повышению безопасности в будущем. Это успешное вмешательство подтверждает важность сохранения бдительности и проактивной адаптации к меняющемуся ландшафту цифровых угроз.
Другие Услуги
Insomnia Security Scanner
AI-powered web application security scanner by CQR. Automated vulnerability discovery, exploit verification, and detailed reporting for modern applications.
Узнать больше
Защита Инфраструктуры CRYEYE
Аудит безопасности с помощью CryEye обеспечивает информационную безопасность предприятия, защищая всю инфраструктуру.
Узнать больше Тестирование на проникновение
Найдите уязвимости во всей инфраструктуре вашего бизнеса раньше, чем это сделают хакеры! В рамках консалтинга по тестированию на проникновение мы подберем методы пентестов.
Узнать больше Социальная инженерия
Simulate real-world phishing, vishing, and pretexting attacks to measure and improve your team's security awareness and response capabilities.
Узнать больше Нагрузочное Тестирование
All kinds of load and performance testing of your system from the CQR online security company.
Узнать больше AI-Powered Vulnerability Assessment
Leverage artificial intelligence to discover, prioritize, and remediate vulnerabilities across your digital assets faster and more accurately than traditional scanners.
Узнать больше Cloud Security Audit (AWS / GCP / Azure)
Comprehensive security review of your cloud environments — IAM policies, network controls, data exposure, and misconfigurations across all major cloud platforms.
Узнать больше DevSecOps Integration
Embed security into every stage of your CI/CD pipeline. Automated SAST, DAST, SCA, and secret scanning so vulnerabilities are caught before they reach production.
Узнать больше API Security Testing
In-depth testing of REST, GraphQL, and SOAP APIs for authentication flaws, authorization bypasses, injection vulnerabilities, and data leakage risks.
Узнать больше Mobile Application Penetration Testing
Manual and automated security testing for iOS and Android applications — reverse engineering, runtime analysis, traffic interception, and backend API assessment.
Узнать больше IoT Security Assessment
Evaluate firmware, communication protocols, cloud backends, and physical interfaces of IoT devices to identify vulnerabilities before attackers do.
Узнать больше Blockchain & Smart Contract Audit
Formal verification and manual code review of smart contracts on Ethereum, Solana, and other chains. Detect reentrancy, overflow, and logic flaws before deployment.
Узнать больше Red Team Operations
Advanced adversary simulation using real attacker TTPs (MITRE ATT&CK) to test your detection, response, and overall security posture under realistic conditions.
Узнать больше Threat Intelligence & Monitoring
Continuous monitoring of threat feeds, dark web, and attacker infrastructure to provide actionable intelligence specific to your organization and industry.
Узнать больше Zero Trust Architecture Review
Assess and design your Zero Trust security model — identity verification, micro-segmentation, least-privilege access, and continuous validation controls.
Узнать больше Compliance Consulting (PCI DSS / SOC 2 / GDPR)
Expert guidance to achieve and maintain compliance with major security frameworks. Gap analysis, remediation roadmaps, and audit-readiness support.
Узнать больше Dark Web Monitoring
Continuous surveillance of dark web forums, marketplaces, and breach databases for leaked credentials, sensitive data, or mentions of your organization.
Узнать больше Phishing Simulation & Awareness Training
Controlled phishing campaigns combined with interactive security awareness training to build a human firewall across your entire organization.
Узнать больше Supply Chain Security Audit
Assess third-party vendor risks, open-source dependencies, and software supply chain integrity to prevent attacks like SolarWinds and Log4Shell.
Узнать больше Container & Kubernetes Security
Security review of Docker images, Kubernetes clusters, RBAC policies, network policies, and runtime configurations to harden your container infrastructure.
Узнать больше Web Application Firewall (WAF) Deployment
Professional WAF setup, rule tuning, and ongoing management to block SQL injection, XSS, CSRF, and other OWASP Top 10 threats in real time.
Узнать больше Bug Bounty Program Management
Full lifecycle management of your bug bounty program — scope definition, researcher coordination, triage, validation, and remediation tracking.
Узнать больше OSINT Investigation Services
Open-source intelligence gathering on individuals, organizations, and infrastructure. Ideal for pre-engagement recon, fraud investigation, and competitive analysis.
Узнать больше Digital Forensics & Incident Response
Rapid response to security breaches — evidence collection, malware analysis, attacker timeline reconstruction, and actionable remediation recommendations.
Узнать больше