Захист від оманливих краулерів. Боротьба із зашифрованим спамом GET-запитів
У світлі стрімкого розвитку технологій кібербезпека стає невід'ємною частиною стратегії захисту організації. Однією зі складних атак, що вирізняються серед сучасних загроз, є спам-розсилка зашифрованих GET-запитів із використанням різних IP-адрес. Однак особливої витонченості цьому типу атак надає надсилання запитів від імені відомих додатків.
Запит клієнта і негайна відповідь команди
До компанії CQR звернувся клієнт із тривожною новиною: на його сайті раптово виникли незвичайні проблеми. Клієнт виявив, що на його хостингу несподівано закінчився вільний простір, що супроводжувалося аномально високим обсягом трафіку сайту. Цей сплеск був пов'язаний з хитромудрою атакою, що включає розсилку зашифрованих GET-запитів. Примітно, що в цих запитах підробляли рядок агента користувача з ім'ям Googlebot. У журналах клієнта було виявлено серію запитів з IP-адрес Google, спрямованих на різні URL-адреси сайту, які швидко виконували в один і той самий день. Запити, виконані методом GET, містили параметри пошуку китайською мовою, що зазвичай асоціюється з рекламою служб знайомств - вірна ознака спаму. Ба більше, кожен запит було замасковано під запит від Googlebot, про що свідчили рядки User-Agent.
Суть атаки
Під час детального аналізу ми виявили, що всі ці запити були успішно оброблені сервером, про що свідчив код стану 200. Це викликало серйозне занепокоєння, оскільки характер запитів не відповідав типовій поведінці легітимного Googlebot. Щоб пояснити це нетехнічній аудиторії: уявіть собі Googlebot як хорошого робота, який відвідує веб-сайти, щоб допомогти їм відображатися в пошуковій видачі Google. Однак у цьому випадку було схоже, що хтось одягнув костюм Googlebot, щоб обдурити сайт. Наші експерти з кібербезпеки визначили дві ймовірні тактики, використані в цій атаці:
Підміна User-Agent - зловмисники могли змінити User-Agent у своїх HTTP-запитах, щоб видати себе за Googlebot. Це можна легко зробити за допомогою таких інструментів, як cURL, або бібліотек програмування, і це поширена тактика обходу заходів безпеки, які довіряють трафіку від авторитетних краулерів, таких як Google.
Використання відкритих проксі-серверів або VPN-сервісів - зловмисники могли спрямувати свій трафік через відкриті проксі-сервери або VPN-сервіси, деякі з яких можуть використовувати діапазони IP-адрес, пов'язані з Google. Цей метод ускладнює відстеження справжнього походження атаки і може ввести в оману системи безпеки, які довіряють трафіку з таких IP-адрес.
У результаті такої тактики сайт, що атакується, став з'являтися в результатах пошукових систем з особливим контентом, який використовували зловмисники, так званими "корисними навантаженнями". Це призводило до того, що на сайті ненавмисно розміщувався нерелевантний і потенційно шкідливий контент. Наслідки такого інциденту досить значні. Він може підірвати довіру до сайту, призвести до штрафів з боку пошукових систем і спотворити аналітику відвідуваності сайту.
Як ілюстрацію наслідків можна навести скріншот, на якому видно, що сайт став з'являтися у верхній частині результатів пошуку Google саме за тим корисним навантаженням, яке вставили зловмисники. Це не тільки поширює небажаний контент далі, а й ставить під сумнів цілісність і надійність постраждалого сайту в очах його користувачів і пошукових систем.
Вирішення проблеми
Виявивши складну атаку на свою онлайн-платформу, команда CQR оперативно вжила рішучих заходів щодо пом'якшення наслідків і захисту системи. Усвідомлюючи терміновість ситуації, першим кроком стало тимчасове відключення функції пошуку на платформі. Цей стратегічний крок був спрямований на запобігання подальшому використанню вразливості та надання команді часу для оцінки масштабів атаки.
Прагнучи зміцнити платформу від майбутніх вторгнень, команда CQR внесла конкретні та стратегічні правки у файли robots.txt і htaccess. Ці зміни були спрямовані на посилення контролю доступу та запобігання несанкціонованим діям, особливо тих, хто намагався маніпулювати сайтом за допомогою зашифрованих GET-запитів.
Зміни в Robots.txt:
Щоб протистояти нещодавній атаці, команда внесла рішучі зміни до файлу robots.txt, обмеживши доступ бота до каталогів, які зазнали нападу. Зокрема, було заборонено доступ до певних каталогів, які стали мішенню нещодавньої складної атаки. Стратегічно обмеживши доступ бота до цих скомпрометованих каталогів, команда ефективно знизила вплив атаки на вразливі ділянки сайту.
Крім того, було вжито проактивного заходу з коригування конфігурації robots.txt, спрямованого на регулювання частоти легітимних краулерів пошукових систем. Цей запобіжний захід був спрямований на запобігання навантаженню на ресурси платформи та захист від потенційних ризиків, пов'язаних із надмірними спробами краулінгу. Такі спроби можуть свідчити про ширший спектр загроз, включно з можливістю розподіленої атаки типу "відмова в обслуговуванні" (DDoS). Тонке налаштування контролю доступу у файлі robots.txt дало змогу не тільки усунути наслідки нещодавньої атаки, а й зміцнити стратегію захисту від майбутніх кіберзагроз.
Налаштування файлу htaccess:
Команда вставила у файл htaccess правила для фільтрації та блокування вхідних запитів, які точно відповідали шаблонам шкідливих зашифрованих GET-запитів. Для цього довелося створити спеціальні правила, засновані на характеристиках атаки, таких як унікальні запити з шифруванням UTF-8.
Крім того, вони впровадили IP-фільтрацію, щоб заблокувати відомі IP-адреси, пов'язані з атакою. Це послужило додатковим рівнем захисту від зловмисників, запобігши їхньому доступу до платформи і знизивши ймовірність подальших спроб.
Щоб протистояти можливим варіаціям у методології атак, команда встановила правила виявлення аномалій у файлі htaccess. Вони охоплювали моніторинг вхідних запитів на предмет відхилень від норми, що давало змогу системі виявляти і блокувати підозрілу активність у режимі реального часу.
Команда CQR занурилася в інфраструктуру бекенда і провела ретельну перевірку бази даних MySQL. Основну увагу було приділено очищенню бази даних від шкідливих і сторонніх запитів, які проникли в неї під час атаки і мали приблизно такий вигляд:
Ця ретельна операція з очищення була спрямована не тільки на усунення слідів недавнього інциденту, а й на підвищення стійкості системи до майбутніх спроб проникнення. Прихильність команди до гігієни баз даних зіграла вирішальну роль у відновленні цілісності платформи.
Розуміючи важливість захисту в режимі реального часу, команда CQR скористалася режимом Cloudflare "Я атакований", щоб знизити навантаження на процесор платформи.
Активувавши цю функцію, команда створила додатковий рівень захисту від потенційних DDoS-атак і знизила сприйнятливість системи до ресурсномістких дій.
Підбиття підсумків
Якщо розібратися в багатогранних мотивах нещодавньої кібератаки на сайт нашого клієнта, стає зрозумілим, що кожен мотив вимагав цілеспрямованої та стратегічної відповіді. Від спроб очорнити репутацію компанії до порушення роботи конкуруючих сервісів, використання атаки як відволікаючого маневру для більш серйозних кіберзлочинів і поширення спаму або шахрайських повідомлень - зловмисники переслідували найрізноманітніші цілі.
Наша команда, усвідомивши цю оманливу тактику, оперативно вжила заходів щодо зниження впливу. Ми впровадили просунуті фільтри для вилову і блокування сумнівного трафіку, зокрема, сфокусувавшись на тих, хто видає себе за Googlebot, і тих, хто прямує через відомі проксі- або VPN-канали. По суті, ми встановили складні цифрові "вишибали" на вході на сайт, щоб зупинити цих замаскованих порушників. Крім того, ми порадили нашому клієнту уважно стежити за трафіком свого сайту щодо виявлення схожих закономірностей і рекомендували встановити більш комплексні системи виявлення і запобігання вторгнень для забезпечення надійної безпеки.
Ми також внесли конкретні зміни до веб-сайту robots.txt и .htaccess файли. Ці файли діють як звід правил сайту, визначаючи, які розділи мають бути доступні та кому. Допрацювавши ці файли, ми підвищили безпеку сайту від несанкціонованих краулерів і шкідливих запитів.
Наш клієнт висловив задоволення швидким розв'язанням проблеми і високо оцінив надані комплексні рекомендації щодо підвищення безпеки в майбутньому. Це успішне втручання підтверджує важливість збереження пильності та проактивної адаптації до мінливого ландшафту цифрових загроз.
Інші Послуги
Insomnia Security Scanner
AI-powered web application security scanner by CQR. Automated vulnerability discovery, exploit verification, and detailed reporting for modern applications.
Дізнатися більше
Захист інфраструктури CRYEYE
Аудит безпеки за допомогою CryEye забезпечує інформаційну безпеку підприємства, захищаючи всю інфраструктуру.
Дізнатися більше Тестування на проникнення
Знайдіть вразливості у всій інфраструктурі вашого бізнесу раніше, ніж це зроблять хакери! У межах консалтингу з тестування на проникнення ми підберемо методи пентестів та інші індивідуальні рекомендації з кібербезпеки для вашого бізнесу.
Дізнатися більше Соціальна Інженерія
Simulate real-world phishing, vishing, and pretexting attacks to measure and improve your team's security awareness and response capabilities.
Дізнатися більше Тестування Продуктивності
Усі види тестування навантаження і продуктивності вашої системи від компанії CQR, що спеціалізується на онлайн-безпеці.
Дізнатися більше AI-Powered Vulnerability Assessment
Leverage artificial intelligence to discover, prioritize, and remediate vulnerabilities across your digital assets faster and more accurately than traditional scanners.
Дізнатися більше Cloud Security Audit (AWS / GCP / Azure)
Comprehensive security review of your cloud environments — IAM policies, network controls, data exposure, and misconfigurations across all major cloud platforms.
Дізнатися більше DevSecOps Integration
Embed security into every stage of your CI/CD pipeline. Automated SAST, DAST, SCA, and secret scanning so vulnerabilities are caught before they reach production.
Дізнатися більше API Security Testing
In-depth testing of REST, GraphQL, and SOAP APIs for authentication flaws, authorization bypasses, injection vulnerabilities, and data leakage risks.
Дізнатися більше Mobile Application Penetration Testing
Manual and automated security testing for iOS and Android applications — reverse engineering, runtime analysis, traffic interception, and backend API assessment.
Дізнатися більше IoT Security Assessment
Evaluate firmware, communication protocols, cloud backends, and physical interfaces of IoT devices to identify vulnerabilities before attackers do.
Дізнатися більше Blockchain & Smart Contract Audit
Formal verification and manual code review of smart contracts on Ethereum, Solana, and other chains. Detect reentrancy, overflow, and logic flaws before deployment.
Дізнатися більше Red Team Operations
Advanced adversary simulation using real attacker TTPs (MITRE ATT&CK) to test your detection, response, and overall security posture under realistic conditions.
Дізнатися більше Threat Intelligence & Monitoring
Continuous monitoring of threat feeds, dark web, and attacker infrastructure to provide actionable intelligence specific to your organization and industry.
Дізнатися більше Zero Trust Architecture Review
Assess and design your Zero Trust security model — identity verification, micro-segmentation, least-privilege access, and continuous validation controls.
Дізнатися більше Compliance Consulting (PCI DSS / SOC 2 / GDPR)
Expert guidance to achieve and maintain compliance with major security frameworks. Gap analysis, remediation roadmaps, and audit-readiness support.
Дізнатися більше Dark Web Monitoring
Continuous surveillance of dark web forums, marketplaces, and breach databases for leaked credentials, sensitive data, or mentions of your organization.
Дізнатися більше Phishing Simulation & Awareness Training
Controlled phishing campaigns combined with interactive security awareness training to build a human firewall across your entire organization.
Дізнатися більше Supply Chain Security Audit
Assess third-party vendor risks, open-source dependencies, and software supply chain integrity to prevent attacks like SolarWinds and Log4Shell.
Дізнатися більше Container & Kubernetes Security
Security review of Docker images, Kubernetes clusters, RBAC policies, network policies, and runtime configurations to harden your container infrastructure.
Дізнатися більше Web Application Firewall (WAF) Deployment
Professional WAF setup, rule tuning, and ongoing management to block SQL injection, XSS, CSRF, and other OWASP Top 10 threats in real time.
Дізнатися більше Bug Bounty Program Management
Full lifecycle management of your bug bounty program — scope definition, researcher coordination, triage, validation, and remediation tracking.
Дізнатися більше OSINT Investigation Services
Open-source intelligence gathering on individuals, organizations, and infrastructure. Ideal for pre-engagement recon, fraud investigation, and competitive analysis.
Дізнатися більше Digital Forensics & Incident Response
Rapid response to security breaches — evidence collection, malware analysis, attacker timeline reconstruction, and actionable remediation recommendations.
Дізнатися більше