Пресс-тур в дата-центр "Ай-Теко"
Осенью 2012 года мы придумали и организовали экскурсию для журналистов в дата-центр "ТрастИнфо" - один из крупнейших коммерческих ЦОДов в России под управлением компании "Сервионика" (группа "компаний Ай-Теко").
В пресс-туре приняли участие более 15 журналистов. Получилась очень интересная экскурсия, длинная беседа - и около 20 публикаций в СМИ по итогам. Нами был подготовлен для популярного ИТ-ресурса HabraHabr подробный фотоотчет, который вызвал оживленное обсуждение среди ИТ-специалистов. Прочитать все обсуждение можно здесь. А сам фотооочет предлагаем вашему вниманию.
ЦОД «ТрастИнфо» находится в любопытном месте — на территории ОАО «НИЦЭВТ», старинного предприятия «Научно-исследовательский центр электронной вычислительной техники». В соответствии с советскими традициями промышленной гигантомании, это самое длинное здание в Москве. «Лежачий небоскреб» на Варшавском шоссе, 125 имеет длину 736 метров. Говорят, там еще вниз столько же этажей, сколько наверх.
НИЦЭВТ — одно из старейших предприятий-разработчиков средств вычислительной техники и системного программного обеспечения, созданное в СССР в конце 1940-х годов. Строго режимный объект.
НИЦЭВТ в советское время:
ЦОД Trustinfo занимает свое отдельное здание на территории. В нем размещено оборудование клиентов «Ай-Теко» и самой компании.
Дата-центр «ТрастИнфо» — один из крупнейших коммерческих ЦОДов России. Спроектирован и построен по стандарту TIA-942 и соответствует уровню надежности 3 (Tier III), показатель бесперебойной работы составляет 99,982%.
На самом деле это место было выбрано для ЦОДа не из-за того, что у НИЦЭВТ богатые традиции в кибернетике, а по вполне прозаичным причинам: здесь одно из немногих мест в Москве, где все нормально с электричеством. «ТрастИнфо» питается от двух подстанций и имеет возможность размещать оборудование с высоким энергопотреблением. Среднее энергопотребление на стойку – 5 кВт. Максимально возможное размещение оборудования – 15 кВт со стойки.
Еще одним колоссальным преимуществом этого ЦОД является артезианская скважина прямо на территории. В здании размещены теплообменники, которые осуществляют холодообмен между этиленгликолем внешних контуров системы охлаждения с холодной водой двух внутренних контуров холодоснабжения — и эта вода берется именно из артезианской скважины, ее температура +7°C. А во внутренней системе водоснабжения используется накопительный бак холода на 2000 кубометров воды, расположенный прямо тут же, под зданием, ниже глубины промерзания грунта. При необходимости можно будет обеспечить 4 часа автономного охлаждения дата-центра при полной загрузке мощностей, также этот ресурс системы охлаждения позволяет аккумулировать холод и сглаживать пики тепловыделения оборудования в машинных залах.
За этой массивной дверью — машинный зал. Всего таких залов в «ТрастИнфо» — 10 (9-й и 10-й запущены в эксплуатацию в конце декабря 2012 года).
В этих «клетках» — серверы клиентов «ТрастИнфо». Многие серверные стойки защищены сварными решетками и кодовыми замками, чтобы исключить возможность физического несанкционированного доступа.
Некоторые стойки, помимо решеток, закрыты плексигласовыми щитами. Это сделано для того, чтобы «отсечь» холодный воздух, подающийся для охлаждения серверов, от общего помещения. Такой способ дополнительного охлаждения применяется для особо нагруженных серверов.
«Свободная касса»… точнее, розетка-«груша» для подвода электричества к оборудованию
Серверные стойки. За перфорированным фальш-потолком — коммуникации и инженерные системы.
Вентиляционная камера. В дата-центре используются холодильные машины (чиллеры) производства Stulz (Германия) с холодопроизводительностью 100 КВт. Каждая машина подключена к двум контурам водоснабжения, что позволяет обеспечить непрерывность работы всех кондиционеров в случае проведения регламентных и ремонтных работ на трассах холодоснабжения или на чиллерах.
Для разграничения доступа к оборудованию в машинных залах и к инженерным систем дата-центра все чиллеры вынесены за пределы машинных залов. Доставка холодного воздуха и отбор нагретого осуществляется через специальные клапаны под фальшполом и за фальшпотолком машинных залов. Высоты фальшпола и фальшпотолка рассчитаны таким образом, чтобы обеспечить необходимый воздухообмен. Это, в общем-то, уникальное для российских дата-центров решение.
Все трассы кондиционирования задублированы, кондиционеры имеют систему резервирования «N+1». Они объединены в автоматическую сеть, работа которой управляется автоматикой — исходя из показаний датчиков температуры и влажности, расположенных в кондиционерах, под фальшполом и за фальшпотолком в машинных залах.
Все помещения дата-центра входят в единую систему пожаротушения, которая состоит из цифровой станции производства Schrack (Австрия) и газового оборудования производства АРТСОК. Система интегрирована с пожарной сигнализацией и охранной сигнализацией дата-центра.
Установка пожаротушения состоит из модуля с огнетушащим веществом (Хладон-125). 18 баллонов и управляющее оборудование размещены в выделенном помещении. Их резервирование — по схеме «2N» — то есть в два раза больше, чем необходимо по расчетам (и больше, чем требуется по стандарту Tier III). Из этого помещения сделана трубопроводная разводка по всем помещениям ЦОД.
Зал ИБП — часть системы энергоснабжения ЦОД «ТрастИнфо». Дата-центр укомплектован ABP — системой автоматического ввода резерва. При отсутствии электропитания от двух штатных подстанций ЦОД перейдет на резервное питание от аккумуляторов. Расчетное время работы ИБП составляет 10-15 минут (до полной разрядки аккумуляторных батарей – 45 минут). Этого времени достаточно для запуска ДГУ — дизель-генераторных установкок. Запас дизельного топлива рассчитан более чем на 9 часов работы при полной нагрузке. В случае необходимости более длительной работы на ДГУ организуется непрерывный подвоз солярки, и ЦОД будет работать в таком режиме столько, сколько надо.
«Медная комната» — специальное помещение, полностью обшитое медными листами. Оно обеспечивает защиту данных, записанных на магнитных лентах, от электромагнитного излучения.
В сейфах, установленных в медной комнате, хранятся носители с критически важными данными, доступ в это помещение строго ограничен.
Новый машинный зал готовится к подключению новых серверных стоек
Помещение дежурных инженеров
Местный «центр управления полетами» — диспетчерская комната мониторинга инженерных систем ЦОДа. Все в real-time.
А это дежурные инженеры за работой. Меряют, проверяют…
В мире Big Data…
В заключение — немного цифр:
Полезная площадь ЦОД — 4500 кв м
Число стойко-мест под оборудование технической архитектуры ЦОД — 1000
Подведенная мощность — 8 МВт
6 прямых каналов связи: 2*ММТС-9, 2*ММТС-10, 2*M1
Нагрузка на перекрытия до 2,5 тонн на квадратный метр
Подробнее о техническом устройстве дата-центра можно почитать на сайте «ТрастИнфо»
Ну и старый анекдот с баша.
"- Какой самый страшный звук в серверной?
— Тишина…"
Дата-центр «ТрастИнфо» — один из крупнейших коммерческих ЦОДов России. Спроектирован и построен по стандарту TIA-942 и соответствует уровню надежности 3 (Tier III), показатель бесперебойной работы составляет 99,982%.
На самом деле это место было выбрано для ЦОДа не из-за того, что у НИЦЭВТ богатые традиции в кибернетике, а по вполне прозаичным причинам: здесь одно из немногих мест в Москве, где все нормально с электричеством. «ТрастИнфо» питается от двух подстанций и имеет возможность размещать оборудование с высоким энергопотреблением. Среднее энергопотребление на стойку – 5 кВт. Максимально возможное размещение оборудования – 15 кВт со стойки.
Еще одним колоссальным преимуществом этого ЦОД является артезианская скважина прямо на территории. В здании размещены теплообменники, которые осуществляют холодообмен между этиленгликолем внешних контуров системы охлаждения с холодной водой двух внутренних контуров холодоснабжения — и эта вода берется именно из артезианской скважины, ее температура +7°C. А во внутренней системе водоснабжения используется накопительный бак холода на 2000 кубометров воды, расположенный прямо тут же, под зданием, ниже глубины промерзания грунта. При необходимости можно будет обеспечить 4 часа автономного охлаждения дата-центра при полной загрузке мощностей, также этот ресурс системы охлаждения позволяет аккумулировать холод и сглаживать пики тепловыделения оборудования в машинных залах.
За этой массивной дверью — машинный зал. Всего таких залов в «ТрастИнфо» — 10 (9-й и 10-й запущены в эксплуатацию в конце декабря 2012 года).
В этих «клетках» — серверы клиентов «ТрастИнфо». Многие серверные стойки защищены сварными решетками и кодовыми замками, чтобы исключить возможность физического несанкционированного доступа.
Некоторые стойки, помимо решеток, закрыты плексигласовыми щитами. Это сделано для того, чтобы «отсечь» холодный воздух, подающийся для охлаждения серверов, от общего помещения. Такой способ дополнительного охлаждения применяется для особо нагруженных серверов.
«Свободная касса»… точнее, розетка-«груша» для подвода электричества к оборудованию
Серверные стойки. За перфорированным фальш-потолком — коммуникации и инженерные системы.
Вентиляционная камера. В дата-центре используются холодильные машины (чиллеры) производства Stulz (Германия) с холодопроизводительностью 100 КВт. Каждая машина подключена к двум контурам водоснабжения, что позволяет обеспечить непрерывность работы всех кондиционеров в случае проведения регламентных и ремонтных работ на трассах холодоснабжения или на чиллерах.
Для разграничения доступа к оборудованию в машинных залах и к инженерным систем дата-центра все чиллеры вынесены за пределы машинных залов. Доставка холодного воздуха и отбор нагретого осуществляется через специальные клапаны под фальшполом и за фальшпотолком машинных залов. Высоты фальшпола и фальшпотолка рассчитаны таким образом, чтобы обеспечить необходимый воздухообмен. Это, в общем-то, уникальное для российских дата-центров решение.
Все трассы кондиционирования задублированы, кондиционеры имеют систему резервирования «N+1». Они объединены в автоматическую сеть, работа которой управляется автоматикой — исходя из показаний датчиков температуры и влажности, расположенных в кондиционерах, под фальшполом и за фальшпотолком в машинных залах.
Все помещения дата-центра входят в единую систему пожаротушения, которая состоит из цифровой станции производства Schrack (Австрия) и газового оборудования производства АРТСОК. Система интегрирована с пожарной сигнализацией и охранной сигнализацией дата-центра.
Установка пожаротушения состоит из модуля с огнетушащим веществом (Хладон-125). 18 баллонов и управляющее оборудование размещены в выделенном помещении. Их резервирование — по схеме «2N» — то есть в два раза больше, чем необходимо по расчетам (и больше, чем требуется по стандарту Tier III). Из этого помещения сделана трубопроводная разводка по всем помещениям ЦОД.
Зал ИБП — часть системы энергоснабжения ЦОД «ТрастИнфо». Дата-центр укомплектован ABP — системой автоматического ввода резерва. При отсутствии электропитания от двух штатных подстанций ЦОД перейдет на резервное питание от аккумуляторов. Расчетное время работы ИБП составляет 10-15 минут (до полной разрядки аккумуляторных батарей – 45 минут). Этого времени достаточно для запуска ДГУ — дизель-генераторных установкок. Запас дизельного топлива рассчитан более чем на 9 часов работы при полной нагрузке. В случае необходимости более длительной работы на ДГУ организуется непрерывный подвоз солярки, и ЦОД будет работать в таком режиме столько, сколько надо.
«Медная комната» — специальное помещение, полностью обшитое медными листами. Оно обеспечивает защиту данных, записанных на магнитных лентах, от электромагнитного излучения.
В сейфах, установленных в медной комнате, хранятся носители с критически важными данными, доступ в это помещение строго ограничен.
Новый машинный зал готовится к подключению новых серверных стоек
Помещение дежурных инженеров
Местный «центр управления полетами» — диспетчерская комната мониторинга инженерных систем ЦОДа. Все в real-time.
А это дежурные инженеры за работой. Меряют, проверяют…
В мире Big Data…
В заключение — немного цифр:
Полезная площадь ЦОД — 4500 кв м
Число стойко-мест под оборудование технической архитектуры ЦОД — 1000
Подведенная мощность — 8 МВт
6 прямых каналов связи: 2*ММТС-9, 2*ММТС-10, 2*M1
Нагрузка на перекрытия до 2,5 тонн на квадратный метр
Подробнее о техническом устройстве дата-центра можно почитать на сайте «ТрастИнфо»
Ну и старый анекдот с баша.
"- Какой самый страшный звук в серверной?
— Тишина…"