Неделю назад Traffic Light был вынужден взять экстренный 2-х дневный отгул, так как неизвестные сетевые пираты организовали серьезную DDoS-атаку на серверы TLight.
Это рассказ о том, что происходило и как мы реагировали на нетривиальные вызовы.
25 июня
Началось всё с того, что 25 июня примерно в обед мы увидели резкий скачок объема трафика на сервер с лендингами, что вызвало их кратковременную недоступность. В общем, дело обычное — “дудос-атаки” происходят постоянно. Правда на этот раз она была немного сильнее обычного. Очевидно, это была разведка.
Стоить добавить, что наши дата-центры имеют базовую DDoS-защиту и соответствующие настройки серверов, что позволяло не замечать большинство атак до этого случая.
26 июня
Резня без объявления войны началась 26 июня.
14:00 МСК: резкий скачок объема трафика на сервер с CRM и на серверы с лендингами.
14:10 МСК: дата-центр блокирует IP адреса cpa.tl и серверов с лендингами. Админка и лендинги перестают отвечать.
14:20 МСК: получаем первые развернутые отчеты из дата-центра по ситуации. Становится ясно, что основная проблема не в том, что на нас льют кучу мусорного трафика, который достаточно легко отфильтровать, а в том, что “мусорные” пакеты данных составлены хитрым способом. В пакетах поставлены фейковые отправители — другие дата-центры. Мусорный пакет приходит на наш сервер, и наш сервер по протоколу даёт ответ “левому” отправителю в чужие дата-центры. Таким образом, схема работает как зеркало, которое перенаправляет DDoS-пакеты на другие дата-центры, а они, в свою очередь, пишут нам гневные жалобы, что мы атакуем их серверы. Наш дата-центр очень щепетильно отрабатывает такие жалобы и в ответ на них блокирует наши серверы.
14:21 МСК: на связь выходит вымогатель и требует выкуп 6000 usd, которые он должен получить в течение 2 часов, иначе цена “go up”.
Скриншоты переписки:
Отвечаем отказом.
Г-н Honey G., антагонист всей истории, говорит с нами на ломаном английском, его логин в telegram на момент контакта: @funnyhoney2 (сейчас заменен на @dont_waste_your_business). Что далее?
14:21 МСК: запустился процесс переключения на резервные серверы. Параллельно в дата-центрах заказываются новые серверы и IP адреса.
16:40 МСК: Г-н Honey G. выходит на связь, сообщает, что акция закончилась и цена теперь 8000 usd.
>From now on, the ransome is $8k
Далее:
>Your competetors always pay. Terraleads, Everad… I doubt that you’ll be an exception
Дисклеймер: Honey G. оказался нечестным человеком и слукавил, заявив, что Terraleads и Everad заплатили выкуп. Обе сети отказали мошенникам, в чем мы даже не сомневались.
Тем временем продолжились попытки беззубого прессинга:
Появляется информация от одной из ПП, которую ддосили, имя специально не сообщаем. Их программисты отбивались от атаки несколько дней и оценивают ддосеров как: “там очень прям жёсткие чуваки”.
По технической части в это время (спустя несколько часов после начала атаки):
- производится переключение трафика на резервные серверы, которые очень быстро выявляются и также ложатся под жалобами от DDoS-атаки;
- примерно каждые 20-30 минут приходят новые жалобы от разных дата-центров;
- заказываем новые IP адреса;
- на серверах, к которым остался доступ, стараемся перенастроить работу фаерволлов, чтобы пресечь подобные атаки;
- связываемся с дата-центрами, обращаемся за помощью в отражении DDoS-атаки;
- ищем внешние коммерческие решения защиты.
Между тем наш герой продолжает требовать выкуп, на что предлагаем ему забрать деньги налом в нашем московском офисе:) Злодею идея не понравилась: он предпочитает криптовалюты.
К ночи 26 июня у нас осталось только 2 сервера с актуальными базами и контентом, который можно было бы использовать для работы. После пересмотра множества вариантов решили задействовать CloudFlare.
В течение ночи переделали всю систему под CloudFlare и под утро 27 числа вернули партнерку в условно рабочее состояние.
27 июня
10:00 МСК: появляется г-н Honey G. и заботливо интересуется, как у нас дела.
В течение 1-2 часов он каким-то образом находит наши новые IP адреса, которые стоят за cloudflare-ом и перенацеливает атаку на них, в связи с чем оставшиеся серверы опять отключаются.
Основные проблемы на этом этапе сформулированы следующим образом:
- покупка и запуск новых серверов требуют непозволительно много времени (выделение самого сервера и развёртывание на нём бэкапов занимают слишком много времени);
- заказ новых IP адресов для серверов не решает проблему в сжатые сроки, т.к. сами мы не можем попасть на серверы, а поддержка дата-центра обслуживает запросы по настройке очень медленно;
- на данный момент у нас нет хорошего анти-DDoS решения от подобного рода атак, а Honey G. каким-то образом вычисляет IP адреса;
- мы находимся под постоянным прессингом от дата-центров из-за постоянных жалоб и огромного объема мусорного трафика. Дата-центры требуют принять срочные меры, иначе нам будет отказано в обслуживании.
Так мы подошли к точке, в которой протагонист (центральное действующее лицо, противопоставляется антагонисту) рассказа испытывает максимальное давление и любой не лишенный чувств Homo sapiens начинает сопереживать. Для ясности: протагонист — подбитый, но непокоренный Traffic Light.
К счастью, мир не без доброжелателей.
12:30 МСК: в разговоре с ABT production выясняется, что ребятам известны коммерчеcкие анти-DDoS решения.
12:50 МСК: на связь выходит cpad.pro с поддержкой и предложением помощи.
13:00 МСК: на связь выходят TerraLeads.com. Ребята делятся опытом противостояния ддосерам.
На протяжении всего дня: в наших пабликах видим поддержку Партнеров, что невероятно прибавляет сил и заряжает мотивацией решать проблемы в 3 раза быстрее.
Тем временем ведется массированный вброс неадекватной информации о Traffic Light. Например:
Видим, что автор поста (закрытый профиль) последний раз был в сети спустя 25 минут после написания своего поста. С тех пор прошла неделя:
С этого же аккаунта были сделаны вбросы в других пабликах:
Однако радует, что на фоне откровенно примитивных заказных комментариев мы видим поддержку и адекватные ответы по теме.
12:47 МСК: из всех вариантов DDoS-защиты, которые мы собрали сами и которые были предложены нашими друзьями, наилучшим оказалось решение, подсказанное ABT production. Если говорить о других решениях, то все они нам казались крайне медленными. Мы позвонили в компанию, которую нам посоветовали ABT, и их сотрудник в течение 5 минут создал рабочий чат, куда добавил системных администраторов. Ещё через 10 минут нам был выдан защищенный «тоннель», через который мы должны были направить весь трафик и на котором должна была производиться фильтрация DDoS-трафика.
Далее нам нужно было получить доступ к нашим серверам и чистые IP адреса. Истезав поддержку дата-центра, мы смогли добиться, чтобы к 17:00 нам добавили новый IP адрес. Сисадмин дата-центра настроил его на сервере, после чего мы включили сервер с CRM и актуальной (на момент отключения) базой.
Маленькая победа! В 17:00 (спустя сутки с лишним после начала атаки) ожила CRM система.
Для того, чтобы полностью исключить раскрытие IP адресов ожившего сервера, была отключена работа постбеков и API-приёмника. Работа с другими внешними сервисами была сведена к минимуму.
Honey G. продолжает напоминать о себе. С ним, слава Богу, всё в порядке.
17:41 МСК: нам пишет человек из сферы CPA:
Alice, [27.06.19 17:41]
Приветствую, есть информация по ддосу
Который щас у вас
TLight, [27.06.19 17:44]
приветствую
весь в вашем внимании
Alice, [27.06.19 17:51]
Мне кажется я знаю кто заказчик
Конфликт по офферам есть
TLight, [27.06.19 17:52]
какие есть предположения?
Alice, [27.06.19 17:52]
Исполнителя не знаю, какой то хакер серьезный
У меня нет. Мы просто пересекались на конфе. Решил сообщить, я ж не кодер. Не могу отбить вас ддос. Но знаю что беткоинами платят хакеру. Вы уже не первый
TLight, [27.06.19 17:53]
да .. не первые
хакер руcкговорящий походу?
Alice, [27.06.19 17:55]
Распугивает партнёров
Один раз их прокинул их, они очень злые были , не захотел продолжать дедос. Ну мне триндец если я солью инфу, как бы в конкурирующей конторе работаю. Я просто о том что уже неделю слышу в переговорке об этом. И услышал вот щас трафиклайтс. Мне кажется так не честно ,Вы третий или четвертый
По лендингам всё было сложно. У нас остался тестовый VPS (Virtual Private Server) с частичным набором лендингов, который мы использовали для тестирования. Запустив его через защищенный «тоннель», мы оживили примерно 30% потоков.
Немногим ранее г-н Honey G. не унимался и продолжал настаивать на выкупе:
Honey G. [27.06.19 15:45]
How is your day?
TLight, [27.06.19 15:45]
привет, норм. работаем
Honey G., [27.06.19 15:46]
I would like to know how much money you already spent and will spend trying to resist me
Honey G.,, [27.06.19 15:49]
When you are planing to make your main site available?
TLight, [27.06.19 15:50]
Сегодня
Honey G.,, [27.06.19 15:50]
It’s great
Honey G.,, [27.06.19 16:03]
How much you already spent to your experience as a defender?
TLight, [27.06.19 16:40]
чувак я не буду платить тебе денег
Honey G.,, [27.06.19 16:54]
Why so?
Это было последнее сообщение от Honey G., где он требовал свои «честно заработанные». Через 15 минут cpa.tl активировался и больше не падал.
28 июня
12:00 МСК: мы получили доступ к одному из серверов с лендингами и смогли восстановить работоспособность почти всех потоков, запустив синхронизацию с двумя новыми VPS-ами и раскидав на них лендинги.
Honey G. перестал писать нам в ЛС, но не сдался окончательно: мы не успели завернуть весь трафик на «тоннель», Honey G. это заметил и атаковал сервер. Его действия уже не имели критических последствий, т.к. у нас было 2 новых сервера с данными, которые мы поставили за «тоннель». Honey G. их уже не видел.
Таким образом, полная работоспособность лендингов была восстановлена. Обнаружив это, Honey G. начал отключать атаку, и в течение дня мы получили доступ практически ко всем серверам.
Враг изгнан, начинается процесс переработки всей системы. Восстанавливаем:
- работу с API;
- постбеки;
- парковку доменов, зарегистрированных у нас и у внешних регистраторов;
- и еще много чего.
Последующие дни
К утру 1 июля восстановили полную работоспособность всей системы. Ещё двое суток ушло на то, чтобы привести всё-всё в порядок, т.к. после такой продолжительной атаки система выглядела как поле для квеста: ее куски были спрятаны по разным углам игрового поля.
Заключение
График, на котором четко видно время атак:
Левый шпиль — начало атаки. Пустота за ним — блокировка сервера. Островок в центре и шпиль справа — это оживление сервера за тоннелем CloudFlare и повторная атака.
Вместо титров
Мы выражаем особую благодарность ABT production за их совет и помощь с напастью. Как было сказано выше, их вмешательство позволило реанимировать TLight в максимально сжатые сроки.
Выражаем благодарность TerraLeads, CPAD, Kom-od, mr\mr.s Alice, CPA.RIP и представителю Everad за слова поддержки и советы.
Выражаем благодарность CPA-сетям, с которыми мы сотрудничаем, за поддержку и понимание.
И, конечно, большое спасибо нашим партнёрам за слова поддержки, которые заряжали нас в бессонные ночи. Эта маленькая победоносная война показала, что мы не зря годами выстраивали партнерские и дружеские отношения с нашими аффилиатами. Это добавляет уверенности, что мы всё делаем правильно!
Техническое резюме:
1. Если вы сейчас находитесь под DDOS-атакой, свяжитесь с нашей поддержкой и мы постараемся помочь в срочном порядке. При наличии минимального инвентаря и понимания, что делать, проблема купируется за 1-2 часа.
В вашем инвентаре обязательно должны быть:
а) системный администратор минимального уровня, который может зайти на сервер по SSH и что-то там делать;
б) рабочий чистый IP адрес, неизвестный злоумышленнику.
В целях безопасности мы не публикуем данные о сервисе, который предоставил нам защищённый «тоннель», однако будем рады поделиться контактом со старыми знакомыми, потому что эти ребята действительно заслуживают доверия и уважения.
2. Никогда, НИКОГДА не платите злоумышленникам выкуп, не ведите переговоров с такими персонами. Заплатив единожды, вы только стимулируете и поддерживаете такой вид деятельности.
Надеемся, вам понравилось наше повествование с привкусом детектива.
ай да вымогатель…