Опять с DDoSом проблемы...

[andrzejn]

igrick рассказывает, почему LJ опять плохо. К сожалению, рассказывает он это в том самом LJ, которому плохо, так что фиг прочитаешь. К счастью, я смог достать эту запись из кэша Яндекса. Вот копия:

За что? А пDDoSто так!

Folks, прошло достаточно времени для того, чтобы собрать необходимые данные и с уверенностью сделать из этого неутешительный вывод — к сожалению, это был и есть DDoS, причем такой мощности и характера, что до серверов LiveJournal он даже не дошел, т.е. магистральные провайдеры Qwest и Verizon, поставляющие услуги в дата-центр, где расположены наши сервера, не выдержали нагрузки, и весь дата-центр, т.е. не только LiveJournal, были отрезаны от мира как минимум на 5 часов. Не работала даже резервная консоль, которая позволила бы нам хоть как-то понять, что происходит с сетевым оборудованием (при этом данные пользователей по-прежнему надежно защищены ввиду архитектуры LiveJournal, за это можете не переживать), поэтому единственным источником информации для нас были вышеупомянутые провайдеры, отвечающие на наши вопросы, и не только наши, но и остальных клиентов, в стиле «we are experiencing network routing issues». Позднее был настроен и запущен DDoS Mitigation Protocol, по результатам которого стало видно, что трафик в нашу сторону составлял в среднем около 6 гигабит при пиках в 8 гигабит (напомню, в прошлые разы он составлял около 2-х гигабит в пике), что по всей видимости является потолком для Qwest и Verizon на данной площадке. При этом, как и в прошлый раз, никаких преференций с точки зрения атакуемых выбрано не было и «валят» весь LiveJournal.

Картинки с DDoS Mitigation Report от Verizon:

На данный момент этот протокол все еще в работе и площадку все еще атакуют, и именно работой этой системы и вызвана вся та нестабильность, которая сейчас проявляется при работе с LiveJournal. Но тут либо нестабильность, либо полный blackout (и опять же — не только для нас, но и для всей площадки), так что из двух зол мы выбрали меньшее.

Из того, что в отдельных случаях может не работать (например, на работе работает, а дома — нет):

• отправка записей;
• отправка комментариев;
• изменение настроек;
• новая авторизация;
• регистрация;
• добавление/удаление друзей;
• и прочие операции, осуществляемые методом POST с более-менее весомым телом.

Из того, что мы делаем/сделали — c Апреля мы увеличили пропускную способность текущих каналов почти в два раза и даже успели прокопать третий, который в данный момент подключают. Производительность оборудования так же была увеличена в разы, и мы в процессе еще большего расширения. Mitigation протоколы настроены и включены.

В очередной раз надеюсь на понимание, терпение и непереключение.

Comments

[otawa]

И все бы ничего, но на Дриме нас еще как-то маловато...

[andrzejn]

Невыносимо маловато! Что ж, будем ждать и заманивать.

[vitus_wagner]

Интересно, сколько активных юзеров будет достаточно для того, чтобы вот таким же образом начал падать DW?

[andrzejn]

Если верить статистике, в LJ активных юзеров в 20..40 раз больше, чем в DW (смотря за сколько дней считать активность).

И большинство самых активных юзеров в LJ - спам-боты.

Учитывая, что в DW серьёзно проапгрейдили движок, а звонками и свистульками обвешали меньше, я думаю, что DW выдержит в сотню раз больше юзеров, чем есть сейчас.

[vitus_wagner]

ЖЖ сейчас упирается не в движок, а в каналы. Опять же, сколько волка ни корми, а у слона понятно что больше. Поэтому оптимизация движка вряд ли сильно прибавит DW мощности. Хотя, конечно, отсутствие ljtimes оно способствует. Но DW тоже страдает creeping featurism-ом. А деньги на поддержку датацентра - существенно меньшие. Так что в 100 раз я не верю.

[andrzejn]

Сойдёмся на 10..20-кратном приросте?

Если удастся отбиться от спамеров, десятикратной аудитории тут вполне хватит для комфортного общения.

[vitus_wagner]

Я бы, конечно, предпочел чтобы было десять (лучше 100) независимых сайтов, подобных DW, и чтобы кроссайтавая аутентификация между ними работала не так как у DW иLJ а нормально, не создавая заметных неудобств, вроде невозможности поместить в комментарий ссылку.

Хотя бы для тех внешних ID, кому я это явным образом разрешил делать в своем журнале.

Ну и чтобы свой журнал вместе с комментариями можно было реплицировать на 3-4 из этих 10-100 сайтов.

[petropavel]

По аналогии с NoSQL предлагаю назвать такую экосистему NoЖЖ :-)

[(Anonymous)]

Попробую.

[petropavel]

ЧуднОй этот ваш дрём, но посмотрим покамест )

[petropavel]

Что-то субъективно DW вот прямо счас у меня тормозит весьма ощутимо; покуда ЖЖ не колбасило, он отзывался существенно быстрее :-(
Может, это потому, что много жж-юзеров одномоментно захотели перейти на DW :-)

[(Anonymous)]

Этот сервис вроде ЖЖ? Тогда я бы не возражала завести аккаунт - но, как видно на странице регистрации, требуется приглашение либо плата... А я не припомню никого из своих друзей, кто пользовался бы этим сервисом.
Танда-МИФ

[andrzejn]

Да, это тот же движок, что LJ, слегка обновлённый и доработанный, но почти всё такое же.

Можно попросить инвайт у тех, кто уже здесь (у меня, увы, инвайты закончились): http://feef.dreamwidth.org/read, или взять в сообществе добрых людей: http://dw-codesharing.dreamwidth.org/

Руководства и советы по переходу - http://levkonoe.dreamwidth.org/5617299.html

[(Anonymous)]

Спасибо большое!

[tanda_mif_chgk]

Ну вот, теперь осталось только ждать, когда сюда перекачаются посты из ЖЖ. Хотя, если б было время и ЖЖ нормально работал, то я бы не все посты перенесла.

[andrzejn]

Удачи на новом месте :)

[tanda_mif_chgk]

Спасибо! Придется, конечно, привыкать к машинному переводу - русскоязычного сервиса я что-то не вижу. Или не там ищу?

[andrzejn]

Нет, нету ещё здесь русского языка.

[tanda_mif_chgk]

Ну, значит, буду надеяться, что машинный перевод достаточно точен :)

[observer75]

пробую комментировать первый раз тут...

[andrzejn]

Получилось :)

[observer75]

кстати, новостей про ЖЖ новых нет никаких? Я за сегодня ничего нового не видел

[andrzejn]

В англоязычном сообществе lj_support суповцы сказали, что поломали ЖЖ, теперь его чинят, и извинились. Никакого титанического DDoS не упоминали, только вскользь сказали по "increased junk traffik".

Думаю, что DDoS - это отмазки. Опять что-то улучшали и опять поломали. Похоже, что код ЖЖ уже настолько раздутый и хрупкий, что без радикального многомесячного рефакторинга его уже трогать нельзя.

[observer75]

Змінимо життя на краще (С), да?

[andrzejn]

Где-то так.

[observer75]

Я так понимаю, что в этом датацентре не только ЖЖ живет. Но раз так - то где пострадавшие кроме ЖЖ? Вроде на провайдеров больше никто не жаловался и все работают нормально, т.е. DDos - скорее всего действительно отмазка