Центры обработки данных: инженерная инфраструктура

21.03.2025

Создание ЦОД начинается с разработки проекта, учитывающего количество серверов и их плотность размещения. Для серверной стойки с 42 юнитами, работающей при нагрузке 5 кВт, необходима система охлаждения с производительностью не менее 12 кВт, чтобы поддерживать температуру в пределах 18–27°C.

Оптимизация охлаждения достигается комбинированным использованием холодных и горячих коридоров, направляющих потоки воздуха строго к источникам тепла. Для крупного ЦОД рекомендуется установка модульных кондиционеров с возможностью увеличения мощности без остановки серверов.

Электропитание проектируется с резервированием N+1 для ИБП и генераторов. Для серверной с нагрузкой 500 кВт выбирается два ИБП по 300 кВА, работающие параллельно, с автоматическим переключением на резервный источник при сбое основного питания.

Проектирование инженерной инфраструктуры включает мониторинг температуры, влажности и энергопотребления с частотой опроса не менее раз в минуту. Данные с датчиков передаются в систему управления ЦОД для своевременного реагирования на перегрев или перегрузку серверов.

При выборе кабельных трасс учитывают минимизацию длины и препятствий для воздушных потоков. Распределительные щиты размещают в отдельных помещениях с доступом только технического персонала, чтобы исключить случайное вмешательство в работу серверов.

Выбор систем резервного электропитания для ЦОД

Проектирование резервного электропитания для ЦОД требует расчета суммарной нагрузки всех серверов и оборудования. Для стойки с 40 серверами мощностью 400 Вт каждый суммарная нагрузка составит 16 кВт. Инженерия системы должна учитывать пиковые значения и возможность расширения ЦОД без полной замены ИБП.

Рекомендуется использовать схему N+1 для ИБП и генераторов. При нагрузке 500 кВт проект предусматривает два ИБП по 300 кВА с параллельным подключением и автоматическим переключением на резервный источник при сбое основного питания.

Элементы инженерной инфраструктуры включают:

• ИБП с модульной конструкцией, обеспечивающей замену модулей без остановки серверов;
• Дизель-генераторы с временем запуска не более 10 секунд;
• Системы распределения питания с мониторингом нагрузки и температуры;
• Аккумуляторные батареи с расчетным временем автономной работы не менее 15 минут.

Проект ЦОД должен предусматривать возможность регулярного тестирования всех компонентов системы резервного питания без отключения серверов. Инженерия подключения и распределения кабелей выполняется так, чтобы минимизировать потери и перегрев проводников, сохраняя доступ для обслуживания.

Для крупных ЦОД с высокой плотностью серверов рекомендуется делить нагрузку на зоны и использовать независимые линии ИБП для критичных серверов и менее нагруженных блоков. Такой подход снижает риск полного отключения при локальном сбое.

Проектирование охлаждающих систем для серверных стоек

Проектирование системы охлаждения серверных стоек начинается с расчета тепловой нагрузки. Для стойки с 36 серверами мощностью 500 Вт каждый суммарная тепловая нагрузка составит 18 кВт. Инженерия охлаждения должна учитывать плотность размещения серверов и направление потоков воздуха.

Рекомендуется использовать схему холодного и горячего коридора. Холодный коридор направляет воздух от кондиционеров прямо к входным решеткам серверов, а горячий коридор собирает нагретый воздух для возврата в систему охлаждения. Для стойки с высокой плотностью серверов проект предусматривает локальные вентиляторы и направляющие панели.

Выбор оборудования основывается на следующих параметрах:

• Мощность кондиционеров, соответствующая суммарной тепловой нагрузке;
• Уровень шума вентиляторов не более 55 дБ в рабочей зоне;
• Контролируемая влажность воздуха 40–60% для предотвращения статического электричества;
• Возможность модернизации без остановки серверов.

Инженерия проекта предусматривает постоянный мониторинг температуры на уровне каждой стойки. Датчики устанавливаются в верхней и нижней частях стойки, а данные передаются в систему управления ЦОД. Это позволяет регулировать подачу охлажденного воздуха в зависимости от фактической нагрузки серверов.

Для крупных проектов с несколькими стойками рекомендуется использовать модульные охладители с распределением нагрузки по зонам. Такой подход снижает риск перегрева и обеспечивает стабильную работу всех серверов в ЦОД.

Контроль температуры и влажности в серверных помещениях

Проект инженерной системы ЦОД включает постоянный контроль температуры и влажности на уровне каждой стойки серверов. Для серверной с нагрузкой 20 кВт целевой диапазон температуры воздуха составляет 20–24°C, влажность – 45–55%. Отклонения за эти пределы увеличивают риск перегрева и коррозии оборудования.

Инженерия контроля предполагает использование нескольких уровней датчиков:

• датчики верхней и нижней части каждой стойки для мониторинга локальных горячих зон;
• датчики общего помещения для оценки равномерности распределения охлажденного воздуха;
• датчики влажности с подключением к системе кондиционирования для автоматической коррекции.

Система контроля интегрируется с управлением охлаждением: при повышении температуры на 2–3°C выше нормы увеличивается подача холодного воздуха, при снижении ниже 18°C – уменьшается. Для серверов с высокой плотностью проект предусматривает локальные вентиляторы и направляющие панели для корректировки потоков.

Регулярная проверка датчиков и калибровка системы инженерами обеспечивают точность показаний. Инженерия проекта предусматривает резервные датчики на случай выхода из строя основных, а также логирование данных для анализа трендов и предотвращения перегрева серверов.

Для крупных ЦОД контроль температуры и влажности разбивается на зоны с независимыми системами управления, что снижает риск отключения всей серверной из-за локальной проблемы и позволяет точнее регулировать климат под фактическую нагрузку оборудования.

Организация сетевой инфраструктуры и коммутации

Проект инженерии ЦОД включает планирование сетевой инфраструктуры для серверов с учетом плотности размещения и тепловой нагрузки. Кабельные трассы располагаются так, чтобы минимизировать пересечение потоков охлажденного воздуха и сохранить доступ для обслуживания.

Для подключения серверов используют модульные коммутационные панели с резервированием линий. Для стойки с 48 серверами проект предусматривает два уровня коммутации: основной и резервный, что позволяет поддерживать работу сети при выходе из строя отдельных коммутаторов.

Инженерия размещения сетевого оборудования учитывает длину кабелей и уровни сигналов. Используются горизонтальные и вертикальные лотки, обеспечивающие упорядоченное размещение кабелей и уменьшение тепловой нагрузки на стойки. Кабельные магистрали проектируются с запасом на расширение до 30% мощности серверов.

Система управления сетью интегрируется с мониторингом охлаждения. Температура в стойках и над кабельными лотками контролируется датчиками, и при превышении пороговых значений автоматически регулируются потоки холодного воздуха для предотвращения перегрева серверов.

Проект инженерной сети предусматривает отдельные VLAN для критичных серверов, чтобы снизить нагрузку на основную магистраль. Такая организация позволяет оперативно перенаправлять трафик при плановом обслуживании или аварийной ситуации без остановки работы ЦОД.

Меры физической безопасности и защиты оборудования

Контроль доступа и видеонаблюдение

Для каждой зоны проект предусматривает биометрические и картовые системы контроля доступа. Камеры видеонаблюдения размещаются так, чтобы фиксировать все входы, выходы и критичные участки серверных стоек. Данные архивируются не менее 90 дней для последующего анализа.

Защита от физического воздействия и аварий

Инженерия проекта включает защиту от затопления, пожара и перегрева. Для серверов устанавливаются противопожарные датчики и системы пожаротушения с газовыми составами, не повреждающими электронику. Системы охлаждения имеют резервные линии подачи воздуха и датчики температуры, чтобы предотвратить перегрев оборудования при отказе основного кондиционера.

Кабельные трассы и распределительные щиты защищаются от случайного механического воздействия и имеют ограниченный доступ. Проект предусматривает регулярную проверку состояния защиты и тестирование аварийных сценариев для сохранения работы серверов и инженерных систем ЦОД.

Мониторинг и автоматизация работы инженерных систем

Проект инженерии ЦОД включает непрерывный мониторинг температуры, влажности, состояния ИБП и кондиционеров. Датчики устанавливаются на каждой стойке серверов и в ключевых точках инженерных помещений для контроля локальных перегревов и нарушений потока охлаждения.

Системы оповещения и реагирования

При превышении пороговых значений температуры или падении напряжения на ИБП система автоматически отправляет уведомления инженерам. Проект предусматривает интеграцию с автоматическим переключением резервных источников питания и регулировкой подачи холодного воздуха для восстановления нормальных условий.

Аналитика и оптимизация работы

Автоматизация включает сбор данных с сенсоров в единую систему управления ЦОД, позволяя анализировать нагрузку на охлаждение и распределение энергии. Инженерия проекта учитывает прогнозируемое увеличение серверов, чтобы оптимизировать работу кондиционеров и предотвратить локальные перегревы без снижения доступности оборудования.

Для крупных центров данные мониторинга используются для планирования профилактического обслуживания и модернизации инженерных систем. Это снижает риск аварий и поддерживает стабильную работу серверов и всех элементов охлаждения и электропитания ЦОД.

Планирование кабельных трасс и распределительных щитов

Проект инженерии ЦОД включает детальное планирование кабельных трасс и размещение распределительных щитов для серверов. Кабели прокладываются в лотках с учетом минимизации пересечения потоков охлаждения и обеспечения доступа для обслуживания. При проектировании учитывается будущая нагрузка на сеть и возможность расширения оборудования без разборки трасс.

Организация распределительных щитов

Распределительные щиты размещаются отдельно от основных серверных стоек, что снижает перегрев и облегчает управление энергоснабжением. Для крупного ЦОД проект предусматривает резервирование линий питания, мониторинг температуры щитов и интеграцию с системой управления охлаждением, чтобы поддерживать стабильную работу серверов.

Маркировка и доступность трасс

Обслуживание и проверка работоспособности инженерных систем

Проект инженерии ЦОД включает регулярное обслуживание систем охлаждения, электропитания и распределения энергии серверов. Проверка работоспособности проводится по расписанию и после любых изменений в инфраструктуре, чтобы минимизировать риск перегрева и отказов оборудования.

План технического обслуживания

Регулярная проверка включает очистку фильтров кондиционеров, тестирование ИБП и генераторов, а также инспекцию кабельных трасс. В таблице приведен пример частоты проверок инженерных систем для ЦОД средней мощности.

Система	Тип проверки	Частота
Кондиционирование	Очистка фильтров, проверка температурных датчиков	Раз в 3 месяца
ИБП и генераторы	Тестирование нагрузки, проверка аккумуляторов	Раз в 6 месяцев
Кабельные трассы и распределительные щиты	Инспекция соединений, проверка маркировки	Раз в 6 месяцев
Мониторинг температуры и влажности	Калибровка датчиков	Раз в 3 месяца

Автоматизация проверок и реагирование

Проект инженерии предусматривает интеграцию систем мониторинга с автоматическим уведомлением инженеров при отклонениях от нормальных параметров охлаждения и энергопотребления. Серверы ЦОД подключаются к системе управления, которая фиксирует изменения температуры, напряжения и состояния ИБП, позволяя проводить корректирующие действия до возникновения критической ситуации.