Пожар в дата-центре (обновлено 25/04)

22 апреля в 2.00 в ДатаЦетре Besthosting возник пожар. Через полчаса после возгорания пожар удалось потушить собственными силами. При пожаре сервера не пострадали. Пострадала проводка и маршрутизирующее оборудование.

Силами сотрудников и ремонтных бригад была немедленно начата чистка и продувка серверов от копоти, тестирование работы и восстановление оборудования.

К середине дня сотрудники технического отдела наладили работу маршрутизирующего оборудования и начали запускать часть дата-центра (сервера в зоне Б, которые были не в ракмаунт корпусах) и хостинговые сервера. В случае некорректной работы (или неработы) сервера после тестирования Вы получите об этом извещение.

Помещение зоны А будет непригодно к эксплуатации еще 1-2 дня. Сейчас там проводятся работы по очистке конструкций и протяжке всех коммуникаций.

Серверы вынесены в другое помещение, проведены работы по их очистке и проверка включением. Результаты довольно положительные. Серверы визуально работоспособны и диски не пострадали.

Зона Б физически не готова была принять всех “беженцев”. Не хватает ресурсов - электрических линий, сетевой структуры и мощности охлаждения.

В текущий момент наблюдаются технические проблемы с маршрутизацией подсетей 31.41.*. Проблему надеемся решить до 12.00 23.04. Запущены практически все хостинговые сервера (после решения проблем с маршрутизацией они станут доступны).

Ближе к вечеру 24.04.2014 планируется старт запуска остальной части дата-центра зоны А.

Мы сейчас не в состоянии обеспечить полноценную техническую поддержку, в связи с большим поступлением запросов и максимальной занятостью сотрудников над устранением последствий пожара. По техническим проблемам просим вас писать на s@besthosting.ua. Телефон и чат могут быть недоступны.

Мы стараемся побыстрее восстановить полноценную работу. Но для этого необходимо полное обновление проводки и замена маршрутизирующего оборудования (оно уже состоялось, но есть небольшие технические нюансы).

Мы приносим извинения за данный инцидент и возникшие проблемы. После восстановления работы простой будет компенсирован продлением хостинга (аренды сервера) на определенный период всем клиентам. Об этом мы сообщим отдельно.


По состоянию на 9.00 24.04.2014 восстановлена вся зона Б. Подняты все хостинговые сервера (кроме с51, на завершающей стадии). Поднята небольшая порция серверов из зоны А в зоне Б.

23.04 были выполнены ремонтные работы в зоне А, а также проверка и продувка серверов из этой зоны.
В данный момент идут работы по восстановлению инфрастуктуры зоны А: Протяжка силовых, сетевых кабелей.  Планируемое время старта запуска серверов зоны А - 17.00 24.04.

25.04 Зона Б, проблемы После восстановительных работ в зоне Б вылетел UPS. Вылетел в следствии перенагрузки вызванной замыканием. Подключение другого УПСа показало нехарактерные скачки нагрузки. К сожалению, сервера, которые не работают в данный момент включить невозможно. Что-то дает высокочастотные импульсы (скорее всего). Специалисты занимаются изучением вопроса. Время восстановительных работ пока неизвестно. Будет сообщено позже. Перенести в зону А пока не представляется возможным (нету упсов, питания допольнительного). В зоне Б будет проходить работы, возможны отключения серверов. Рекомендуем сделать бекапы у кого работают сервера. Часть серверов в зоне Б работает, часть нет.

Больше свежих апдейтов о текущей ситуации в группе вконтакте: http://vk.com/club13435468