Введение
Для описания систем или подсистем центров обработки данных, предварительно собираемых на заводе, используется множество терминов с различными определениями и объемом оборудования. Неполный список
таких терминов включает:
контейнерное исполнение;
автономный;
модульный
заводской готовности;
транспортируемый;
мобильный;
на основании;
на раме.
Эти термины вносят путаницу и ведут к бессмысленным обсуждениям, поскольку их значения перекрывают друг друга и не являются однозначными.
В рамках данной статьи модульный ЦОД высокой заводской готовности понимается как:
— состоящий как минимум из одной предварительно спроектированной, интегрированной и продестированной на заводе изготовителе подсистеме;
-монтируется на раме или в закрытом корпусном исполнении.
Хотя преимущества такого подхода в проектировании и развертывании центров обработки данных уже хорошо описаны
(«Модули питания и охлаждения заводской готовности для центров обработки
данных»), отсутствие четкой классификации привело к путанице в типах, признаках и предназначении таких систем.
Данная статья определяет рамки для классификации различных типов решений высокой заводской готовности для центров обработки данных на основании трех признаков, чтобы избежать неоднозначного
толкования. В ней представлены определения и категории, а также указания по выбору корректного подхода с учетом имеющихся требований бизнеса.
Одной из причин, по которым модульные центры обработки данных подразделяются на функциональные блоки, является то, что ЦОДы могут требовать только определенный вид ресурсов (только электропитание,
только охлаждение) по причине ограничений производительности на существующем объекте. Другой причиной является то, что для эксплуатации и обслуживания каждого блока требуется персонал с разными
навыками (т. е. инженерный персонал или ИТ-персонал, механики или электрики).
Третья причина связана с физическими ограничениями по габаритам модуля. Исполнение является вторым ключевым признаком, определяющим предпочтительное решение. Исполнение может выбираться на
основании применения (т. е. может быть требование к мобильности центра обработки данных – размещение на подвижной платформе – для соответствия потребностям бизнеса); или могут быть ограничения по
мощности (к примеру, системы электропитания в контейнерах ISO, как правило, ограничены мощностью в пределах 500 кВт, однако монтаж на раме позволяет использовать большую мощность).
Функциональные блоки высокой заводской готовности разворачиваются в различных конфигурации. Некоторые ЦОДы включают микс из модулей высокой заводской готовности и традиционных систем, монтируемых
по месту (к примеру, модули питания и охлаждения и традиционный ИТ-зал). Другие ЦОДы имеют полную заводскую готовность, то есть все три функциональных блока (питания, охлаждения И ИТ-оборудования).
Наконец, особой конфигурацией решения полной заводской готовности является микроЦОД, где системы питания, охлаждения и ИТ располагаются в едином корпусе.
Быстровозводимые центры обработки данных или ЦОДы высокой заводской готовности Термины «быстровозводимый» и «предызготовленный» иногда используются взаимозаменяемо, однако между ними существуют
важные различия.
Быстровозводимый центр обработки данных разрабатывается в соответствии с заданными эксплуатационными параметрами и состоит как минимум из задокументированного списка материалов, спецификаций
уровней системы и чертежей интегрированной системы.
Центр обработки данных высокой заводской готовности представляет собой специально спроектированный ЦОД и его системы (аппаратное и программное обеспечение), собранные, интегрированные и испытанные
на заводе для сокращения времени развертывания и повышения предсказуемости характеристик.
Как пример могут быть рассмотрены базовые дизайны систем питания или охлаждения ЦОДа, которые могут быть поставлены в различном исполнении и степени заводской готовности.
В последующем разделе более подробно описываются три атрибута: функциональный блок, исполнение и конфигурация.
Функциональный блок
Центры обработки данных могут быть разделены на три основных блока – энергоцентр, хладоцентр и ИТ-пространство. Модули центров обработки данных высокой заводской готовности иногда совмещают
несколько функций (например, как в случае с микроЦОДами), но чаще они выполняют только одну функцию по следующим причинам:
• модуль высокой заводской готовности может требоваться только для определенного ресурса (только питание, только охлаждение или только ИТ-пространство) из-за ограничений по
производительности на существующем объекте;
• требуется размещение ИТ оборудования, превоcходящего по количеству/объему возможности микроЦОДа и моноблочного решения, или требуется однообъемное ИТ-пространство
(физическое ограничение по пространству для модулей);
• существуют требования к разделению доступа персонала (ИТ, механики, электрики), отвечающего за эксплуатацию и обслуживание, для снижения человеческого фактора;
• требуется оптимизация занимаемого пространства, отдельные функциональные модули подходят для размещения больших по размеру компонентов и обеспечивают большую
энергетическую плотность на единицу занимаемой площади.
Питание
Модуль питания высокой заводской готовности (см. рис. 2) предназначен для питания ЦОДа. Он может питать ИТ-модульное или ИТ-пространство традиционной компоновки внутри здания. К
типовым подсистемам модуля питания относятся распределительные устройства/щиты, АВР, ИБП с аккумуляторами, трансформаторами. Кроме того, в модулях закрытого типа присутствуют вспомогательные
системы, такие как освещение, система безопасности, охлаждение. Резервные генераторы, как правило, представляют собой отдельный модуль, который может быть интегрирован с модулем питания.
Рис. 2. Пример модуля энергоцентра
Охлаждение
Современные ЦОДы используют различные архитектуры охлаждения ИТ-пространства, исходя из соображений стоимости, эффективности, надежности и пр. Физическое расположение (климат) центра обработки
данных также является одним из определяющих факторов при определении
оптимального подхода. Инструмент Schneider Electric TradeOff Tool, «Калькулятор значения PUE при
различных типах охлаждения», помогает проиллюстрировать энергетический баланс при различной архитектуре, а
Информационной статьи №59, «Различные технологии охлаждения центров обработки данных», содержит
дополнительные подробные данные по различным подходам к охлаждению. Верхнеуровневая спецификация компонентов модулей охлаждения высокой заводской готовности представлена в таблице
1.
На рис. 3 показан модуль, состоящий из насосов, ЧРП, систем управления и соединений для подлючения чиллеров с воздушным охлаждением.
Рис. 3. Пример модуля хладоцентра
Пространство для ИТ-оборудования
ИТ-модули высокой заводской готовности используются для размещения ИТ-оборудования. В них также располагается вспомогательная инфраструктура для распределения питания и воздуха для ИТ-систем, а
также обеспечивается подходящая рабочая среда для ИТ-персонала, работающего в данном помещении. Обычно в таком модуле размещаются следующие подсистемы:
• стойки для размещения ИТ-оборудования;
• устройства распределения питания;
• стоечные блоки распределения питания;
• системы распределения воздуха (CRAH, CRAC, воздуховоды, в зависимости от архитектуры);
• система повышения/понижения влажности;
• кабельная инфраструктура и кабельная организация;
• система обнаружения/тушения возгорания;
• освещение;
• системы безопасности.
Помимо предварительной интеграции подсистем, расположение ИТ-оборудования в модуле подразумевает разделение потоков холодного и горячего воздуха, что критично для эффективного распределения
воздуха. На рис. 4 представлен пример ИТ- модуля, состоящего из 10 стоек и вспомогательных систем, но существуют другие форм-факторы, которые обеспечивают большее количество
стойкомест.
Рис. 4. Пример функционального блока «ИТ-пространство»
Исполнение
Центры обработки данных заводской готовности могут иметь различное исполнение с точки зрения конструкции, размера и формы. Форм-фактор конкретного решения влияет на возможности его транспортировки,
размещения и расположения (в помещении, вне помещения, на земле или на крыше). Наиболее распространенные форм-факторы:
• контейнер ISO;
• корпус NON-ISO;
• монтаж на раме.
Какое исполнение или комбинация исполнений подходит для конкретного проекта ЦОДа, определяется на основании таких требований, как транспортабельность, производительность, масштабируемость и пр.
Таблица 2 содержит сравнение с точки зрения размещения, расположения
И транспортировки. Кроме того, форм-фактор модуля влияет на его производительность, поскольку размеры модуля ограничивают возможность размещения в нем определенного оборудования. В определенных
регионах также могут действовать различные ограничения и дополнительные налоги.
Эти и другие признаки дополнительно описаны в следующих разделах, где также приведены иллюстрации для различных исполнений.
«Мобильные» модули
Мобильность является преимуществом для любых исполнений модулей заводской готовности, при этом контейнеры ISO обеспечивают лучшую транспортабельность; однако иногда модуль проектируется с
обеспечением постоянной мобильности, что означает его установку на конструкцию, имеющую колеса и оси.
Такие мобильные модули зачастую строятся по принципу «все в одном» и используются в качестве временных ЦОДов (например, для военного применения или для спортивных мероприятий). На рисунке ниже
представлены два примера:
Контейнер ISO
Контейнеры ISO являются стандартными многоразовыми корпусами для транспортировки оборудования, предназначенными для безопасного, эффективного и надежного хранения и перемещения материалов
различными видами транспорта (к примеру, с корабля на железнодорожный транспорт и далее на автотранспорт). Существует большое количество стандартов ISO, которые регламентируют различные аспекты
контейнеров с точки зрения их классификации, размеров, спецификаций креплений для подъема контейнеров, маркировки/идентификации контейнера.
Стандартные габариты таких контейнеров для использования в качестве модулей ЦОДа составляют: 6,10 м 2,44 м и 12,2 м 2,44 м. Контейнеры по 6,1 м поставляются со стандартной высотой в 2,591 м, а
контейнеры по 12,2 м поставляются со стандартной высотой в 2,591 м или в «высоком» исполнении с высотой 2,896 м. Обычно для контейнерного ЦОДа используются высокие контейнеры, поскольку они
обеспечивают большую гибкость для размещения оборудования в модуле.
Когда контейнеры используются в качестве оболочки для модулей ЦОДа, зачастую они подвергаются следующим модификациям:
• созданию отверстий для дверей и монтируемого оборудования;
• монтажу оборудования по бокам или на крыше контейнера.
При внесении таких изменений контейнер теряет сертификацию ISO, что ограничивает, к примеру, возможность установки контейнеров друг на друга. Тем не менее, обладая габаритами стандартного
контейнера, ISO позволяет легко транспортировать, поднимать и размещать модули по сравнению с модулями нестандартного размера, что снижает расходы на монтаж. В целом также дешевле модифицировать
стандартную конструкцию, чем изготавливать новую с нуля.
Модули в контейнерах ISO обычно имеют ограничение около 500 кВт по мощности систем питания или охлаждения и около 200 – 250 кВт для модулей ИТ-пространства. Ограничение по мощности модулей
ИТ-пространства обусловлено ограничением по числу стоек ИТ-оборудования, которые можно разместить в рамках габаритов, а также доступом к ИТ оборудованию при различной компоновке установки стоек. К
примеру, если стойки располагаются вдоль задней стенки для обеспечения широкого прохода для холодного воздуха, то проход горячего воздуха будет доступен только через съемные панели или двери
снаружи. Если стойки ИТ-оборудования располагаются длинным рядом по центру, ширина проходов холодного и горячего воздуха снижается.
Наконец, если используются несколько коротких рядов перпендикулярно длине контейнера, проходы для перемещения между рядами, вероятно, будут узкими. В целом ограничения по мощности модулей
ИТ-оборудования делают их более подходящими для небольших центров обработки данных. Для большей мощности обычно требуется организация традиционного ИТ-пространства.
Зачастую такое исполнение требует установки систем охраны и освещения, поскольку осуществляется доступ персонала для эксплуатации и обслуживания.
Размещение контейнеров ISO обычно предполагает необходимость фундамента (бетонной подложки) на улице. Для подъема контейнера с грузовика и переноса на подложку используется кран. При использовании
в качестве расширения мощности в существующем кирпичном здании контейнеры обычно размещаются вблизи периметра здания, рядом с ЦОД, работу которого они обеспечивают. Иногда контейнеры энергоцентра
или ИТ пространства располагаются в складских помещениях – для защиты персонала от воздействия погоды при эксплуатации и обслуживании, а также обеспечения дополнительной защиты критических систем.
На рис. 5 показаны модуль питания и модуль охлаждения, оба находятся в стандартных контейнерах ISO и модифицированы в соответствии с требованиями системы.
Рис. 5. Примеры исполнения контейнера ISO
Модули
Другое исполнение, в рамках данного документа именуемое «Модули», менее стандартизировано c точки зрения габаритов, а потому необязательно соответствует определенным стандартам транспортировки, как
контейнеры ISO.
По отношению к контейнерам ISO стоимость их перевозки и перемещения может быть более высокой, а объем работ на объекте – большим, если конструкция не полностью собрана на заводе. К примеру, широкие
модули могут поставляться двумя частями, как показано на рисунке 6. Некоторые модули, зачастую именуемые модульными помещениями, изготавливаются, интегрируются с оборудованием центра обработки
данных, испытываются и сдаются на заводе, а затем разбираются и вновь собираются на объекте заказчика.
Преимуществом такого исполнения является большая гибкость с точки зрения плотности размещаемого ИТ-оборудования, чем у модулей, поставляемых в корпусном исполнении.
Рис. 6. Пример укрытия ИТ-пространства, поставляемого 2 частями.
Большая часть модулей предназначена для установки вне помещений и может подвергаться различным погодным воздействиям, но некоторые модули не предназначены для этого и должны монтироваться в
помещении (к примеру, на складе). Даже те модули, которые предназначены для уличных условий, иногда могут монтироваться в помещении из соображений безопасности, доступа персонала или укрытия от
погодных воздействий при заносе персоналом оборудования (к примеру, серверов) в модули. Некоторые модули представляют собой помещения в которые персонал может заходить2, для обслуживания и
эксплуатации, тогда как другие модули можно описать как «интегрированные системы», доступ персонала к которым осуществляется через съемные панели снаружи (без входа внутрь). В таблице 3 сведены
дополнительные категории укрытий с примерами каждой из них.
Ключевым фактором для выбора исполнения являются требования к среде размещения и доступа внутрь. Модули, размещаемые вне помещения, должны иметь подходящий уровень безопасности во избежание
несанкционированного доступа (например, вандализма).
Монтаж на раме
«Монтаж на раме представляет собой способ установки и хранения оборудования, при котором оборудование в месте изготовления предварительно монтируются на раму, рельсы или металлическую паллету. При
этом оборудование можно легко и безопасно транспортировать и использовать как комплектное устройство»3. На рис. 7 показаны примеры открытых модулей центров обработки
данных.
Рис. 7. Примеры исполнения модульных центров обработки данных при монтаже на раме
Модули, монтируемые на раме, обычно не предназначены для использования вне помещения, поскольку компоненты не защищены от воздействия окружающей среды. Модули питания зачастую поставляются в таком
исполнении, поскольку такие элементы, как распределительные устройства, ИБП, трансформаторы и электрические панели не требуют уличного исполнения, как, например, модули охлаждения.
Для модулей с установкой на раму также существует меньше ограничений по мощности из-за габаритов (по сравнению с укрытиями или контейнерами ISO), что позволяет им поддерживать более мощные центры
обработки данных. Таким образом, при увеличении мощности подход с установкой модуля на раму становится более предпочтительным. В целом стоимость модуля заводской готовности, монтируемого на раме,
дешевле до 40% эквивалентной закрытой конструкции.
Примечание. Монтируемые на раму системы для ИТ-пространств неприменимы, поскольку они оставляют оборудование открытым и не позволяют разделить потоки холодного и горячего воздуха от
ИТ-оборудования.
Конфигурация
Существует несколько способов реализации функциональных блоков в центре обработки данных.
Эти подходы подразделяются на три основных категории:
• частичной заводской готовности – центр обработки данных, состоящий из комбинации функциональных блоков высокой заводской готовности и традиционно монтируемых систем;
• полной заводской готовности – центр обработки данных, полностью состоящий из ИТ-модулей, модулей питания и охлаждения;
• микро – центр обработки данных в автономном корпусе с системами ИТ-оборудования, питания и охлаждения.
В данном разделе даны пояснения для каждой конфигурации, представлены иллюстрированные примеры и типовые сценарии их развертывания. Общей для всех конфигураций является необходимость развертывания
ЦОДа в течение недель, а не месяцев или лет, возможность масштабирования ЦОДа, когда это необходимо, а также потребность в прогнозируемых характеристиках. Существуют также иные определяющие
требования (например, окружающая среда, финансовые параметры проекты или возможность перемещения), которые также влияют на принятие решения.
Центры обработки данных частичной заводской готовности
Развертывание ЦОДа с использованием модулей высокой заводской готовности и систем монтируемых традиционным способом называется «частичной заводской готовностью». На рис. 8 представлен пример, в
котором модули питания и охлаждения поддерживают в работе традиционное ИТ-пространство в здании. Также возможны другие комбинации, такие как использование традиционных энергоцентров и хладоцентров
с наружным расположением ИТ-модулей. Конкретная комбинация модулей заводской готовности и традиционных систем при развертывании зависит от применения и потребностей ЦОДа. Проект модернизации, при
котором существует ограничение по определенному ресурсу, является обычным случаем применения такого подхода.
Рис. 8. Пример центра сбора и обработки данных неполной заводской готовности с модулями питания и охлаждения заводской готовности и традиционным ИТ-пространством.
Центры обработки данных частичной заводской готовности обычно используются, когда: • существующий центр обработки данных испытывает нехватку питания и
существуют ограничения по месту размещения в энергоцентре, но ИТ-пространство можно увеличить;
• существующий центр обработки данных испытывает нехватку охлаждения (отвода тепла), но ИТ-пространство можно увеличить;
• существующий центр обработки данных испытывает нехватку ИТ-пространства по причине снижения плотности ИТ нагрузки ниже расчетной и имеется
избыток производительности питания и охлаждения;
• новый ЦОД корпоративного класса имеет смешанную ИТ-среду, что ограничивает применение ИТ-модулей, но модули питания и охлаждения могут
использоваться;
• требуется краткосрочное решение для закрытия нехватки производительности и/или надежности до момента реализации долгосрочного решения (после
чего модули будут использованы для другой цели).
Центры обработки данных полной заводской готовности
В центре обработки данных полной заводской готовности модульные решения применяются для всех трех функциональных блоков – обеспечения питания ЦОДа, обеспечения отвода тепла от ЦОДа и размещения
критического ИТ-оборудования. На рисунке 9 представлены два примера центров обработки данных полной заводской готовности и возможного размещения модулей на земле. Развертывание зависит от
исполнения, мощности, используемой технологии и размещения (внутри помещения или вне его) в зависимости от требований бизнеса.
Рис. 9. Пример компоновок центров обработки данных полной заводской готовности на основе типовых модулей Schneider Electric
Центры обработки данных полной заводской готовности обычно используются, когда:• масштабируемость всего ЦОДа является ключевым фактором;
• ЦОД, работающий с различными типами данных, хочет разделить ИТ-пространства по типам данных, а также требует масштабируемости ресурсов питания и охлаждения;
• крупный ЦОД с однородным ИТ-оборудованием планирует выполнять развертывание оборудования поэтапно;
• высокопроизводительный ЦОД с высокой плотностью энерговыделения требует повторяемого развертывания тысяч серверов и требует масштабируемости производительности по мере роста числа серверов;
• требуется крупный резервный ЦОД.
Заключение
Существует множество подходов к реализации модульных центров обработки данных заводской готовности, при этом отсутствие стандартной терминологии для их описания сделало выбор конкретного типа
сложным. Оптимальная конфигурация, включающая нужные функциональные блоки и исполнение, зависит от применения и требований бизнеса. В некоторых случаях центр обработки данных полной заводской
готовности является наилучшим решением, в других случаях оптимальным является центр обработки данных неполной заводской готовности, состоящий из комбинации модулей высокой заводской готовности и
традиционных систем. Понимание ограничений и преимуществ каждого исполнения помогает выбрать оптимальный подход.
Наконец, потребности бизнеса в скорости развертывания, масштабируемости, ограничениях по пространству, производительности и финансированию являются определяющими при решении.
Венди Торелл
старший научный специалист, компания Schneider Electric
