Модульный сервер, не блейд!

Модульный сервер «М1» является часть универсальной масштабируемой модульной платформы и представляет из себя конструктив в форм-факторе 6U в который устанавливаются до 10 вычислительных модулей. Можно было бы назвать наш сервер «М1» блейд-сервером, но это было бы не вполне точное название.

Идеология решения заключается в том, что общий конструктив шасси схож с конструктивом блейд-сервера и заключает в себе общее питание и охлаждение серверов-лезвий (в нашем случае вычислительных модулей), но классический мидплейн отсутствует.

☝️Мидплейн, это сердце традиционного блейд-сервера. Лезвия лишены возможности вывода каких-либо интерфейсов напрямую в общую сеть, вся коммутация происходит через мидплейн, который осуществляет вывод интерфейсов лезвий на размещаемые в общем шасси коммутаторы. Также через мидплейн осуществляется питание лезвий. Таким образом, мидплейн, это самое узкое место блейд-сервера, а также компонент, который не имеет резервирования. При механической поломке или электрическом замыкании мидплейна, из строя будут выведены вплоть до всех серверов, размещенных в шасси. Кроме того мидплейн, это очень дорогая деталь, превосходящая по сложности системную плату сервера, без процессоров, памяти, но в несколько раз большего размера с очень плотной коммутацией высокоскоростных интерфейсов, питания и сложной системой перфорации. Также мидплейн ограничивает возможности модернизации блейд-системы, так как в связи с выходом новых ЦПУ, нового поколения шины PCIe и нового поколения внешних скоростных интерфейсов, это требует повторной разработки и полной замены как самого мидплейна, так и встраиваемых в шасси блейд-системы проприетарных коммутаторов.☝️

Разрабатывая модульный сервер, мы провели глубокий анализ использования блейд-серверов в современных ЦОД и пришли к заключению, что избыточный функционал сложной системы ввода-вывода, использующей проприетарные коммутаторы, используется редко, или вносит свои особые требования в архитектуру решения.

Помимо высокой стоимости и функциональных ограничений, проприетарные коммутаторы производителя блейд-серверов (кроме Ethernet коммутаторов TOR блейд систем Cisco) увеличивают сложность сетевой топологии, практически не давая никаких преимуществ кроме физического облегчения подключения серверов в сети Ethernet, сетях данных и управления.

В итоге мы отказались от полноценного мидплейна, использовав его сильно упрощенный вариант, который позволяет объединить служебные Ethernet-порты котроллеров BMC, а также вспомогательные каналы ввода-вывода вычислительных модулей.

Таким образом предоставляется единое управление всем шасси из одного удобного интерфейса используя только два SFP+ порта 10 Gigabit Ethernet для внешних подключений с возможностью резервирования канала управления. Также наш вариант мидплейна объединяет вспомогательные порты Gigabit Ethernet вычислительных модулей выводя их в общие 2 внешних SFP+порта 10 Gigabit Ethernet для резервирования вспомогательного канала ввода-вывода. Для реализации данного функционала используются 2 независимых коммутатора 1 GbE, размещенных в модуле управления шасси и имеющих по 2 внешних выхода 10 GbE в форм-факторе SFP+.

Преимущества нашего мидплейна:

• Компактность мидплейна, позволяет разместить его на нижнем уровне (на котором располагаются блоки питания и панель индикации и управления) и полностью исключить его влияние на воздушные потоки, проходящие сквозь основную часть корпуса шасси, охлаждающие вычислительные модули.

• Простота и пассивное исполнение мидплейна обеспечивает его высокую отказоустойчивость.

• Отсутствие внутренней высокоскоростной коммутации исключает узкое место в выводе внешних интерфейсов вычислительных модулей. Традиционный блейд-сервер всегда имеет ограничение скоростных характеристик мидплейна. Даже если мидплейн создан с заделом на будущее и поддерживает самые современные интерфейсы, из-за высокого темпа развития протоколов обмена данными, моральное устаревание бэкплейна наступит через 3 года или ранее. Это приведет к необходимости замены шасси, коммутаторов, возможно и замены всех серверов-лезвий.

• Также большинство современных блейд-серверов имеют только 2 независимые фабрики, а не 3 как в предыдущих поколениях. Это также усложняет систему коммутации при использовании трех различных протоколов обмена данными, когда необходимо, например, вывести одновременно Ethernet, Fiber Channel и Infiniband.

• Помимо проприетарных коммутаторов мы исключили из решения проприетарные карты расширения, обеспечивающие дополнительные внешние интерфейсы подключения к сетям данных и высокоскоростным InfiniBand коммутаторам. В традиционных блейд- серверах данные карты расширения выполнены в форм-факторе mezzanine, что сужает номенклатуру возможных используемых адаптеров.

• Длительный жизненный цикл и защита инвестиций. Наше шасси ввиду простоты и модульности конструкции предполагает отсутствие морального старения, а также возможность локальной модернизации отдельных блоков без замены всего шасси.

• Вышеописанные преимущества по отдельности и все вместе обеспечивают значительное снижение стоимости решения, а также защиту инвестиций.

Лучшие технологические решения!

Таким образом, мы создали решение с высокой плотностью размещения вычислительных ресурсов, таким как в высокоплотных серверах. Как в высокоплотных серверах в наших вычислительных модулях используются стандартные карты расширения, устанавливаемые в стандартные слоты PCIe. В нашем решении используется общая система управления, сравнимая с системой управления традиционных блейд-серверов, но отсутствует у высокоплотных серверов. Из идеологии блейд-систем мы также взяли технологическую возможность использования вычислительных модулей различных форм-факторов и их произвольного комбинирования, что обеспечивает широкий спектр конфигураций. Данная возможность отсутствует у высокоплотных серверов.

В конструкцию решения также заложена возможность установки дисковых массивов и коммутаторов в стандартные слоты шасси, предназначенные для размещения внутренних модулей.

В результате мы взяли лучшие технологические решения от блейд и высокоплотных серверов, устранив их недостатки с позиции жизненного цикла, крупносерийного производства, инвестиций в разработку и, как следствие, цены сервера.

Поэтому мы называем наш сервер модульным, что полностью соответствует его архитектуре и не вызывает некорректных ассоциаций с блейд-серверами.

И еще раз хочется подчеркнуть универсальность решения «Е-Флопс», позволяющую использовать его как в классических ЦОД со стойками 19”, так и в ЦОД, построенных на базе международного стандарта Open Compute Project (OCP). Заказчик впоследствии может трансформировать свой классический ЦОД в OCPЦОД и перенести в него всю вычислительную инфраструктуру включая шасси. Данная опция также защищает инвестиции заказчика.

Надеемся, мы смогли объяснить смысл, который мы вкладываем в названии нашего модульного сервера «М1». Далее мы продолжим раскрывать секреты наших решений.