24 Лис, 2023

Захист від оманливих краулерів. Боротьба із зашифрованим спамом GET-запитів

У світлі стрімкого розвитку технологій кібербезпека стає невід'ємною частиною стратегії захисту організації. Однією зі складних атак, що вирізняються серед сучасних загроз, є спам-розсилка зашифрованих GET-запитів із використанням різних IP-адрес. Однак особливої витонченості цьому типу атак надає надсилання запитів від імені відомих додатків.

Запит клієнта і негайна відповідь команди

До компанії CQR звернувся клієнт із тривожною новиною: на його сайті раптово виникли незвичайні проблеми. Клієнт виявив, що на його хостингу несподівано закінчився вільний простір, що супроводжувалося аномально високим обсягом трафіку сайту. Цей сплеск був пов'язаний з хитромудрою атакою, що включає розсилку зашифрованих GET-запитів. Примітно, що в цих запитах підробляли рядок агента користувача з ім'ям Googlebot. У журналах клієнта було виявлено серію запитів з IP-адрес Google, спрямованих на різні URL-адреси сайту, які швидко виконували в один і той самий день. Запити, виконані методом GET, містили параметри пошуку китайською мовою, що зазвичай асоціюється з рекламою служб знайомств - вірна ознака спаму. Ба більше, кожен запит було замасковано під запит від Googlebot, про що свідчили рядки User-Agent.

Суть атаки

Під час детального аналізу ми виявили, що всі ці запити були успішно оброблені сервером, про що свідчив код стану 200. Це викликало серйозне занепокоєння, оскільки характер запитів не відповідав типовій поведінці легітимного Googlebot. Щоб пояснити це нетехнічній аудиторії: уявіть собі Googlebot як хорошого робота, який відвідує веб-сайти, щоб допомогти їм відображатися в пошуковій видачі Google. Однак у цьому випадку було схоже, що хтось одягнув костюм Googlebot, щоб обдурити сайт. Наші експерти з кібербезпеки визначили дві ймовірні тактики, використані в цій атаці:

Підміна User-Agent - зловмисники могли змінити User-Agent у своїх HTTP-запитах, щоб видати себе за Googlebot. Це можна легко зробити за допомогою таких інструментів, як cURL, або бібліотек програмування, і це поширена тактика обходу заходів безпеки, які довіряють трафіку від авторитетних краулерів, таких як Google.

Використання відкритих проксі-серверів або VPN-сервісів - зловмисники могли спрямувати свій трафік через відкриті проксі-сервери або VPN-сервіси, деякі з яких можуть використовувати діапазони IP-адрес, пов'язані з Google. Цей метод ускладнює відстеження справжнього походження атаки і може ввести в оману системи безпеки, які довіряють трафіку з таких IP-адрес.

У результаті такої тактики сайт, що атакується, став з'являтися в результатах пошукових систем з особливим контентом, який використовували зловмисники, так званими "корисними навантаженнями". Це призводило до того, що на сайті ненавмисно розміщувався нерелевантний і потенційно шкідливий контент. Наслідки такого інциденту досить значні. Він може підірвати довіру до сайту, призвести до штрафів з боку пошукових систем і спотворити аналітику відвідуваності сайту.

Як ілюстрацію наслідків можна навести скріншот, на якому видно, що сайт став з'являтися у верхній частині результатів пошуку Google саме за тим корисним навантаженням, яке вставили зловмисники. Це не тільки поширює небажаний контент далі, а й ставить під сумнів цілісність і надійність постраждалого сайту в очах його користувачів і пошукових систем.

Вирішення проблеми

Виявивши складну атаку на свою онлайн-платформу, команда CQR оперативно вжила рішучих заходів щодо пом'якшення наслідків і захисту системи. Усвідомлюючи терміновість ситуації, першим кроком стало тимчасове відключення функції пошуку на платформі. Цей стратегічний крок був спрямований на запобігання подальшому використанню вразливості та надання команді часу для оцінки масштабів атаки.

Прагнучи зміцнити платформу від майбутніх вторгнень, команда CQR внесла конкретні та стратегічні правки у файли robots.txt і htaccess. Ці зміни були спрямовані на посилення контролю доступу та запобігання несанкціонованим діям, особливо тих, хто намагався маніпулювати сайтом за допомогою зашифрованих GET-запитів.

  1. Зміни в Robots.txt:

    • Щоб протистояти нещодавній атаці, команда внесла рішучі зміни до файлу robots.txt, обмеживши доступ бота до каталогів, які зазнали нападу. Зокрема, було заборонено доступ до певних каталогів, які стали мішенню нещодавньої складної атаки. Стратегічно обмеживши доступ бота до цих скомпрометованих каталогів, команда ефективно знизила вплив атаки на вразливі ділянки сайту.

    • Крім того, було вжито проактивного заходу з коригування конфігурації robots.txt, спрямованого на регулювання частоти легітимних краулерів пошукових систем. Цей запобіжний захід був спрямований на запобігання навантаженню на ресурси платформи та захист від потенційних ризиків, пов'язаних із надмірними спробами краулінгу. Такі спроби можуть свідчити про ширший спектр загроз, включно з можливістю розподіленої атаки типу "відмова в обслуговуванні" (DDoS). Тонке налаштування контролю доступу у файлі robots.txt дало змогу не тільки усунути наслідки нещодавньої атаки, а й зміцнити стратегію захисту від майбутніх кіберзагроз.

  2. Налаштування файлу htaccess:

    • Команда вставила у файл htaccess правила для фільтрації та блокування вхідних запитів, які точно відповідали шаблонам шкідливих зашифрованих GET-запитів. Для цього довелося створити спеціальні правила, засновані на характеристиках атаки, таких як унікальні запити з шифруванням UTF-8.

    • Крім того, вони впровадили IP-фільтрацію, щоб заблокувати відомі IP-адреси, пов'язані з атакою. Це послужило додатковим рівнем захисту від зловмисників, запобігши їхньому доступу до платформи і знизивши ймовірність подальших спроб.

    • Щоб протистояти можливим варіаціям у методології атак, команда встановила правила виявлення аномалій у файлі htaccess. Вони охоплювали моніторинг вхідних запитів на предмет відхилень від норми, що давало змогу системі виявляти і блокувати підозрілу активність у режимі реального часу.

Команда CQR занурилася в інфраструктуру бекенда і провела ретельну перевірку бази даних MySQL. Основну увагу було приділено очищенню бази даних від шкідливих і сторонніх запитів, які проникли в неї під час атаки і мали приблизно такий вигляд:

Ця ретельна операція з очищення була спрямована не тільки на усунення слідів недавнього інциденту, а й на підвищення стійкості системи до майбутніх спроб проникнення. Прихильність команди до гігієни баз даних зіграла вирішальну роль у відновленні цілісності платформи.

Розуміючи важливість захисту в режимі реального часу, команда CQR скористалася режимом Cloudflare "Я атакований", щоб знизити навантаження на процесор платформи. 

Активувавши цю функцію, команда створила додатковий рівень захисту від потенційних DDoS-атак і знизила сприйнятливість системи до ресурсномістких дій.

Підбиття підсумків

Якщо розібратися в багатогранних мотивах нещодавньої кібератаки на сайт нашого клієнта, стає зрозумілим, що кожен мотив вимагав цілеспрямованої та стратегічної відповіді. Від спроб очорнити репутацію компанії до порушення роботи конкуруючих сервісів, використання атаки як відволікаючого маневру для більш серйозних кіберзлочинів і поширення спаму або шахрайських повідомлень - зловмисники переслідували найрізноманітніші цілі.

Наша команда, усвідомивши цю оманливу тактику, оперативно вжила заходів щодо зниження впливу. Ми впровадили просунуті фільтри для вилову і блокування сумнівного трафіку, зокрема, сфокусувавшись на тих, хто видає себе за Googlebot, і тих, хто прямує через відомі проксі- або VPN-канали. По суті, ми встановили складні цифрові "вишибали" на вході на сайт, щоб зупинити цих замаскованих порушників. Крім того, ми порадили нашому клієнту уважно стежити за трафіком свого сайту щодо виявлення схожих закономірностей і рекомендували встановити більш комплексні системи виявлення і запобігання вторгнень для забезпечення надійної безпеки.

Ми також внесли конкретні зміни до веб-сайту robots.txt и .htaccess файли. Ці файли діють як звід правил сайту, визначаючи, які розділи мають бути доступні та кому. Допрацювавши ці файли, ми підвищили безпеку сайту від несанкціонованих краулерів і шкідливих запитів.

Наш клієнт висловив задоволення швидким розв'язанням проблеми і високо оцінив надані комплексні рекомендації щодо підвищення безпеки в майбутньому. Це успішне втручання підтверджує важливість збереження пильності та проактивної адаптації до мінливого ландшафту цифрових загроз.

Інші Послуги

Готові до безпеки?

зв'язатися з нами