История DDoS атаки на партнерку Traffic Light


Неделю назад Traffic Light был вынужден взять экстренный 2-х дневный отгул, так как неизвестные сетевые пираты организовали серьезную DDoS-атаку на серверы TLight.


‼️ Подписка на наш Telegram канал обязательна -> Telegram CPARIP


Это рассказ о том, что происходило и как мы реагировали на нетривиальные вызовы.

25 июня

Началось всё с того, что 25 июня примерно в обед мы увидели резкий скачок объема трафика на сервер с лендингами, что вызвало их кратковременную недоступность. В общем, дело обычное — “дудос-атаки” происходят постоянно. Правда на этот раз она была немного сильнее обычного. Очевидно, это была разведка.

Стоить добавить, что наши дата-центры имеют базовую DDoS-защиту и соответствующие настройки серверов, что позволяло не замечать большинство атак до этого случая.

26 июня

Резня без объявления войны началась 26 июня.

14:00 МСК: резкий скачок объема трафика на сервер с CRM и на серверы с лендингами.

14:10 МСК: дата-центр блокирует IP адреса cpa.tl и серверов с лендингами. Админка и лендинги перестают отвечать.

14:20 МСК: получаем первые развернутые отчеты из дата-центра по ситуации. Становится ясно, что основная проблема не в том, что на нас льют кучу мусорного трафика, который достаточно легко отфильтровать, а в том, что “мусорные” пакеты данных составлены хитрым способом. В пакетах поставлены фейковые отправители — другие дата-центры. Мусорный пакет приходит на наш сервер, и наш сервер по протоколу даёт ответ “левому” отправителю в чужие дата-центры. Таким образом, схема работает как зеркало, которое перенаправляет DDoS-пакеты на другие дата-центры, а они, в свою очередь, пишут нам гневные жалобы, что мы атакуем их серверы. Наш дата-центр очень щепетильно отрабатывает такие жалобы и в ответ на них блокирует наши серверы.

14:21 МСК: на связь выходит вымогатель и требует выкуп 6000 usd, которые он должен получить в течение 2 часов, иначе цена “go up”.

Скриншоты переписки:

Отвечаем отказом.

Г-н Honey G., антагонист всей истории, говорит с нами на ломаном английском, его логин в telegram на момент контакта: @funnyhoney2 (сейчас заменен на @dont_waste_your_business). Что далее?

14:21 МСК: запустился процесс переключения на резервные серверы. Параллельно в дата-центрах заказываются новые серверы и IP адреса.

16:40 МСК: Г-н Honey G. выходит на связь, сообщает, что акция закончилась и цена теперь 8000 usd.

>From now on, the ransome is $8k

Далее:

>Your competetors always pay. Terraleads, Everad… I doubt that you’ll be an exception

Дисклеймер: Honey G. оказался нечестным человеком и слукавил, заявив, что Terraleads и Everad заплатили выкуп. Обе сети отказали мошенникам, в чем мы даже не сомневались.

Тем временем продолжились попытки беззубого прессинга:

Появляется информация от одной из ПП, которую ддосили, имя специально не сообщаем. Их программисты отбивались от атаки несколько дней и оценивают ддосеров как: “там очень прям жёсткие чуваки”.

По технической части в это время (спустя несколько часов после начала атаки):

  • производится переключение трафика на резервные серверы, которые очень быстро выявляются и также ложатся под жалобами от DDoS-атаки;
  • примерно каждые 20-30 минут приходят новые жалобы от разных дата-центров;
  • заказываем новые IP адреса;
  • на серверах, к которым остался доступ, стараемся перенастроить работу фаерволлов, чтобы пресечь подобные атаки;
  • связываемся с дата-центрами, обращаемся за помощью в отражении DDoS-атаки;
  • ищем внешние коммерческие решения защиты.

Между тем наш герой продолжает требовать выкуп, на что предлагаем ему забрать деньги налом в нашем московском офисе:) Злодею идея не понравилась: он предпочитает криптовалюты.

К ночи 26 июня у нас осталось только 2 сервера с актуальными базами и контентом, который можно было бы использовать для работы. После пересмотра множества вариантов решили задействовать CloudFlare.

В течение ночи переделали всю систему под CloudFlare и под утро 27 числа вернули партнерку в условно рабочее состояние.

27 июня

10:00 МСК: появляется г-н Honey G. и заботливо интересуется, как у нас дела.

В течение 1-2 часов он каким-то образом находит наши новые IP адреса, которые стоят за cloudflare-ом и перенацеливает атаку на них, в связи с чем оставшиеся серверы опять отключаются.

Основные проблемы на этом этапе сформулированы следующим образом:

  1. покупка и запуск новых серверов требуют непозволительно много времени (выделение самого сервера и развёртывание на нём бэкапов занимают слишком много времени);
  2. заказ новых IP адресов для серверов не решает проблему в сжатые сроки, т.к. сами мы не можем попасть на серверы, а поддержка дата-центра обслуживает запросы по настройке очень медленно;
  3. на данный момент у нас нет хорошего анти-DDoS решения от подобного рода атак, а Honey G. каким-то образом вычисляет IP адреса;
  4. мы находимся под постоянным прессингом от дата-центров из-за постоянных жалоб и огромного объема мусорного трафика. Дата-центры требуют принять срочные меры, иначе нам будет отказано в обслуживании.

Так мы подошли к точке, в которой протагонист (центральное действующее лицо, противопоставляется антагонисту) рассказа испытывает максимальное давление и любой не лишенный чувств Homo sapiens начинает сопереживать. Для ясности: протагонист — подбитый, но непокоренный Traffic Light.

К счастью, мир не без доброжелателей.

12:30 МСК: в разговоре с ABT production выясняется, что ребятам известны коммерчеcкие анти-DDoS решения.

12:50 МСК: на связь выходит cpad.pro с поддержкой и предложением помощи.

13:00 МСК: на связь выходят TerraLeads.com. Ребята делятся опытом противостояния ддосерам.

На протяжении всего дня: в наших пабликах видим поддержку Партнеров, что невероятно прибавляет сил и заряжает мотивацией решать проблемы в 3 раза быстрее.

Тем временем ведется массированный вброс неадекватной информации о Traffic Light. Например:

Видим, что автор поста (закрытый профиль) последний раз был в сети спустя 25 минут после написания своего поста. С тех пор прошла неделя:

С этого же аккаунта были сделаны вбросы в других пабликах:

https://vk.com/overhear_cpa?w=wall-79811671_330041
https://vk.com/cpa_partners?w=wall-112461268_193518
https://vk.com/podslushtipo?w=wall-121355605_1769
https://vk.com/day_ctr?w=wall-47848167_6096
https://vk.com/cparip?w=wall-144819272_57462
https://vk.com/overhear_affiliates?w=wall-123060482_64437

Однако радует, что на фоне откровенно примитивных заказных комментариев мы видим поддержку и адекватные ответы по теме.

12:47 МСК: из всех вариантов DDoS-защиты, которые мы собрали сами и которые были предложены нашими друзьями, наилучшим оказалось решение, подсказанное ABT production. Если говорить о других решениях, то все они нам казались крайне медленными. Мы позвонили в компанию, которую нам посоветовали ABT, и их сотрудник в течение 5 минут создал рабочий чат, куда добавил системных администраторов. Ещё через 10 минут нам был выдан защищенный «тоннель», через который мы должны были направить весь трафик и на котором должна была производиться фильтрация DDoS-трафика.

Далее нам нужно было получить доступ к нашим серверам и чистые IP адреса. Истезав поддержку дата-центра, мы смогли добиться, чтобы к 17:00 нам добавили новый IP адрес. Сисадмин дата-центра настроил его на сервере, после чего мы включили сервер с CRM и актуальной (на момент отключения) базой.

Маленькая победа! В 17:00 (спустя сутки с лишним после начала атаки) ожила CRM система.

Для того, чтобы полностью исключить раскрытие IP адресов ожившего сервера, была отключена работа постбеков и API-приёмника. Работа с другими внешними сервисами была сведена к минимуму.

Honey G. продолжает напоминать о себе. С ним, слава Богу, всё в порядке.

17:41 МСК: нам пишет человек из сферы CPA:

Alice, [27.06.19 17:41]

Приветствую, есть информация по ддосу
Который щас у вас

TLight, [27.06.19 17:44]

приветствую
весь в вашем внимании

Alice, [27.06.19 17:51]

Мне кажется я знаю кто заказчик
Конфликт по офферам есть

TLight, [27.06.19 17:52]

какие есть предположения?

Alice, [27.06.19 17:52]

Исполнителя не знаю, какой то хакер серьезный
У меня нет. Мы просто пересекались на конфе. Решил сообщить, я ж не кодер. Не могу отбить вас ддос. Но знаю что беткоинами платят хакеру. Вы уже не первый

TLight, [27.06.19 17:53]

да .. не первые
хакер руcкговорящий походу?

Alice, [27.06.19 17:55]

Распугивает партнёров
Один раз их прокинул их, они очень злые были , не захотел продолжать дедос. Ну мне триндец если я солью инфу, как бы в конкурирующей конторе работаю. Я просто о том что уже неделю слышу в переговорке об этом. И услышал вот щас трафиклайтс. Мне кажется так не честно ,Вы третий или четвертый

По лендингам всё было сложно. У нас остался тестовый VPS (Virtual Private Server) с частичным набором лендингов, который мы использовали для тестирования. Запустив его через защищенный «тоннель», мы оживили примерно 30% потоков.

Немногим ранее г-н Honey G. не унимался и продолжал настаивать на выкупе:

Honey G. [27.06.19 15:45]

How is your day?

TLight, [27.06.19 15:45]

привет, норм. работаем

Honey G., [27.06.19 15:46]

I would like to know how much money you already spent and will spend trying to resist me

Honey G.,, [27.06.19 15:49]

When you are planing to make your main site available?

TLight, [27.06.19 15:50]

Сегодня

Honey G.,, [27.06.19 15:50]

It’s great

Honey G.,, [27.06.19 16:03]

How much you already spent to your experience as a defender?

TLight, [27.06.19 16:40]

чувак я не буду платить тебе денег

Honey G.,, [27.06.19 16:54]

Why so?

Это было последнее сообщение от Honey G., где он требовал свои «честно заработанные». Через 15 минут cpa.tl активировался и больше не падал.

28 июня

12:00 МСК: мы получили доступ к одному из серверов с лендингами и смогли восстановить работоспособность почти всех потоков, запустив синхронизацию с двумя новыми VPS-ами и раскидав на них лендинги.

Honey G. перестал писать нам в ЛС, но не сдался окончательно: мы не успели завернуть весь трафик на «тоннель», Honey G. это заметил и атаковал сервер. Его действия уже не имели критических последствий, т.к. у нас было 2 новых сервера с данными, которые мы поставили за «тоннель». Honey G. их уже не видел.

Таким образом, полная работоспособность лендингов была восстановлена. Обнаружив это, Honey G. начал отключать атаку, и в течение дня мы получили доступ практически ко всем серверам.

Враг изгнан, начинается процесс переработки всей системы. Восстанавливаем:

  • работу с API;
  • постбеки;
  • парковку доменов, зарегистрированных у нас и у внешних регистраторов;
  • и еще много чего.

Последующие дни

К утру 1 июля восстановили полную работоспособность всей системы. Ещё двое суток ушло на то, чтобы привести всё-всё в порядок, т.к. после такой продолжительной атаки система выглядела как поле для квеста: ее куски были спрятаны по разным углам игрового поля.

Заключение

График, на котором четко видно время атак:

Левый шпиль — начало атаки. Пустота за ним — блокировка сервера. Островок в центре и шпиль справа — это оживление сервера за тоннелем CloudFlare и повторная атака.

Вместо титров

Мы выражаем особую благодарность ABT production за их совет и помощь с напастью. Как было сказано выше, их вмешательство позволило реанимировать TLight в максимально сжатые сроки.

Выражаем благодарность TerraLeadsCPADKom-od, mr\mr.s Alice, CPA.RIP и представителю Everad за слова поддержки и советы.

Выражаем благодарность CPA-сетям, с которыми мы сотрудничаем, за поддержку и понимание.

И, конечно, большое спасибо нашим партнёрам за слова поддержки, которые заряжали нас в бессонные ночи. Эта маленькая победоносная война показала, что мы не зря годами выстраивали партнерские и дружеские отношения с нашими аффилиатами. Это добавляет уверенности, что мы всё делаем правильно!

Техническое резюме:

1. Если вы сейчас находитесь под DDOS-атакой, свяжитесь с нашей поддержкой и мы постараемся помочь в срочном порядке. При наличии минимального инвентаря и понимания, что делать, проблема купируется за 1-2 часа.

В вашем инвентаре обязательно должны быть:

а) системный администратор минимального уровня, который может зайти на сервер по SSH и что-то там делать;

б) рабочий чистый IP адрес, неизвестный злоумышленнику.

В целях безопасности мы не публикуем данные о сервисе, который предоставил нам защищённый «тоннель», однако будем рады поделиться контактом со старыми знакомыми, потому что эти ребята действительно заслуживают доверия и уважения.

2. Никогда, НИКОГДА не платите злоумышленникам выкуп, не ведите переговоров с такими персонами. Заплатив единожды, вы только стимулируете и поддерживаете такой вид деятельности.

Надеемся, вам понравилось наше повествование с привкусом детектива.

Источник.


Понравилось? Расскажи друзьям!

1

One Comment

Ваш e-mail не будет опубликован. Обязательные поля помечены *

X