Пожежа в дата- центрі (оновлено 25/04)

22 квітня в 2.00 в дата-центрі Besthosting виникла пожежа. Через півгодини після загоряння пожежу вдалося загасити власними силами. При пожежі сервера не постраждали. Постраждала проводка і маршрутизуюче обладнання.

Силами співробітників і ремонтних бригад негайно була розпочата чистка та продувка серверів від кіптяви, тестування роботи і відновлення устаткування.

До середини дня співробітники технічного відділу налагодили роботу маршрутизуючого обладнання і почали запускати частину дата-центру (сервера в зоні Б, які були не в ракмаунт корпусах) і хостингові сервера. У випадку некоректної роботи (або нероботи ) сервера після тестування Ви отримаєте повідомлення.

Приміщення зони А буде непридатне до експлуатації ще 1-2 дні. Зараз там проводяться роботи з очищення конструкцій і протяжці всіх комунікацій.

Сервери винесені в інше приміщення, проведено роботи з їх очищення та перевірка включенням. Результати досить позитивні. Сервери візуально працездатні і диски не постраждали.

Зона Б фізично не готова була прийняти всіх "біженців". Бракує ресурсів - електричних ліній, мережевої структури та потужності системи охолодження.

У поточний момент спостерігаються технічні проблеми з маршрутизацією підмереж 31.41.*. Проблему сподіваємося вирішити до 12.00 23.04. Запущені практично всі хостингові сервера (після вирішення проблем з маршрутизацією вони стануть доступні).

Ближче до вечора 24.04.2014 планується старт запуску іншої частини дата-центру зони А.

Ми зараз не в змозі забезпечити повноцінну технічну підтримку, у зв'язку з великим надходженням запитів і максимальної зайнятістю співробітників над усуненням наслідків пожежі. З технічних проблем просимо вас писати на s@besthosting.ua. Телефон і чат можуть бути недоступні.

Ми намагаємося якнайшвидше відновити повноцінну роботу. Але для цього необхідно повне оновлення проводки і заміна маршрутизуючого обладнання (воно вже відбулося, але є невеликі технічні нюанси).

Приносимо свої вибачення за даний інцидент і проблеми що виникли внаслідок цього. Після відновлення роботи простій буде компенсований продовженням хостингу (оренди сервера) на певний період всім клієнтам. Про це ми повідомимо окремо.


Станом на 9.00 24.04.2014 відновлена ??вся зона Б. Піднято всі хостингові сервера (крім с51, на завершальній стадії). Піднята невелика порція серверів із зони А в зоні Б.

23.04 були виконані ремонтні роботи в зоні А, а також перевірка та продування серверів з цієї зони.
В даний момент йдуть роботи з відновлення інфрастуктури зони А: Протяжка силових, мережевих кабелів. Планований час старту запуску серверів зони А - 17.00 24.04.

25.04 Зона Б, проблеми
Після відновлювальних робіт в зоні Б вийшов з ладу UPS. Вийшов внаслідок перенавантаження спричиненого замиканням. Під'єднання іншого UPSа показало нехарактерні стрибки навантаження. Наразі, нажаль, сервера, що не працюють на даний час включити неможливо. Вірогідні високочастотні імпульси. Спеціалісти займаються вивченням поточної ситуації. Час відновлювальних робіт поки невідомий. Буде повідомлено пізніше. Перенос в зону А поки не є можливим (недостатньо UPS, додаткового живлення). В зоні Б будуть проходити роботи, можливі відключення серверів. Рекомендуємо зробити Backup тим, в кого сервера працюють. Частина серверів в зоні Б працює, частина ні.

Більше свіжих апдейтів про поточну ситуацію в групі вконтакті: http://vk.com/club13435468