Как спасти инфраструктуру от затопления

Когда в серверной потоп, и вода в розетках шипит от электрического напряжения, остается только надеть резиновые сапоги и печатки потолще и идти навстречу судьбе.

Задача:
устранить последствия аварии водоснабжения в здании офиса

Решение:
восстановили и заменили часть оборудования, протестировали все системы инфраструктуры, восстановили потерянные данные, дали рекомендации как минимизировать ущерб от подобных ситуаций в будущем.

В здании офиса нашего клиента случалась крупная авария, прорвало трубы на верхнем этаже. В результате весь офис и серверная оказались затопленными. Авария произошла ночью, к нашему появлению воды было уже по колено. Тем не менее мы восстановили работу инфраструктуры всего за 1 день.

Ключевые моменты кейса

Самая первая проблема, с которой мы столкнулись — электрические розетки в серверной смонтированы в полу, т.е. они оказались под водой, входить в помещение опасно для здоровья.

Мы справились в этой проблемой и вынесли всё оборудование в сухое помещение. Пришло время заняться просушиванием деталей. Не всегда ситуация безнадежная. Блоки питания после затопления не выживают, но за остальные комплектующие можно побороться. Здесь важно, чтобы не было окисления, поэтому чипсеты сразу промыли спиртом, слоты продули сжатым воздухом, все машины разобрали до мелчайших деталей и просушили. В итоге удалось восстановить пять серверов из восьми, у двух серверов сгорело часть комплектующих, один сервер сгорел полностью.

Далее занялись данными. Жесткие диски тоже достаточно уязвимы для влаги. В нашем случае вышли из строя все. Однако у этой истории счастливый финал. В рамках абонентского обслуживания ранее мы настроили копирование всех данных на резервные сервера. Благодаря этому важная корпоративная информация не была потеряна.

Когда мы берем клиента на абонентское обслуживание, мы, среди прочего, составляем Disaster Recovery Plan (план восстановления после катастрофы). Под катастрофой понимается ситуация, при которой часть или все серверы организации полностью выведены из строя или уничтожены. Такой план помогает сократить время на оживление системы, сберечь нервы и деньги.

В плане содержатся инструкции по восстановлению, пароли, список лиц для оповещения, сценарии для конкретных ситуаций, дистрибутивы и устройства чтения. Также мы формируем буферный склад. Здесь хранится запасное, подменное оборудование, чтобы в критический момент не выяснилось, что комплектующие нужно сначала заказать у производителя.

Наш план восстановления включает не только пожары, потопы и подобные катастрофы. В нем сценарии для более частых форсмажоров типа потери базы данных, потери паролей и хранилища логов, выход из строя почтовых серверов и пр.

Инженер технической поддержки

В подобных авральных ситуациях нельзя расслабляться после решения проблемы. Очень важно сделать выводы и принять меры, чтобы подобное больше не случилось. Мы дали клиенту рекомендации по оборудованию серверной средствами защиты от протечек.

Системный администратор UNIX

Меня частенько обвиняют в том, что я придумываю маловероятные события и трачу время на защиту от них. Как же я горжусь тем, что не поддалась уговорам и настроила резервирование данных в другой ЦОД! Мы не потеряли ни одного байта клиентский данных.

Отметьте пункты, которые соответствуют ситуации в вашей компании

Серверы находятся в здании офиса, а не в центре обработки данных

Серверы находятся в здании офиса, а не в центре обработки данных

Резервное копирование настроено, но копии хранятся в том же месте, где основные данные

Резервное копирование настроено, но копии хранятся в том же месте, где основные данные

В серверной не установлена пожарная сигнализация

В серверной не установлена пожарная сигнализация

В серверной не установлена система защиты от протечек

В серверной не установлена система защиты от протечек

Резервное копирование данных не настроено

Резервное копирование данных не настроено

У любого сотрудника есть доступ в серверную

У любого сотрудника есть доступ в серверную

Disaster Recovery Plan отсутствует

Disaster Recovery Plan отсутствует

Отсутствует склад комплектующих

Отсутствует склад комплектующих

Что случилось с
серверами Windows?

Прождали 8 недель,
а уже не надо

Предыдущий кейс

Следующий кейс

Что случилось с
серверами Windows?

Прождали 8 недель,
а уже не надо