Дисковые полки JBOD: как добавить серверу 60 терабайт и не сойти с ума

Дисковые полки JBOD: как добавить серверу 60 терабайт и не сойти с ума.

Рано или поздно это случается с каждым, кто собирает серьёзное хранилище: места в корпусе больше нет, а диски ещё нужны. Можно, конечно, купить второй сервер. А можно — дисковую полку, подключить один кабель и получить ещё десяток отсеков. Звучит как магия, но на деле это корпус с дисковыми отсеками, блоком питания и охлаждением. Устройство, которое решает проблему, над которой вы думали две недели. Разберёмся, как это работает и что нужно, чтобы полка заработала у вас.

Коротко, если лень читать.

• Полка JBOD — это корпус с дисками и расширителем (экспандером), без RAID-контроллера; сервер напрямую видит диски
• Серверу нужен HBA с внешними портами: 9400-8e / 9500-8e (SFF-8644)
• Один кабель от контроллера — и полка работает; каскадом можно цепочку полок
• Полки AIC уже со встроенными расширителями (экспандерами) — подключил и работай

Что такое JBOD и зачем он нужен.

JBOD (Just a Bunch Of Disks) — конфигурация хранения, в которой диски объединены только корпусом, без аппаратного RAID. Внутри — блок питания, охлаждение и экспандер, который раздаёт один входной порт на все диски. Каждый диск виден серверу как отдельный. А массив из них уже собирает операционная система — ZFS, mdadm, Unraid, кому что ближе. Про то, зачем дискам «голый» доступ без контроллера-самодура, мы писали в статье про выбор SAS-контроллера — там вся теория про IT-режим и ZFS.

Зачем это нужно? Три сценария.

Первый — хранилище выросло. В корпусе сервера шесть отсеков, все заняты, а нужно ещё. Полка — самый дешёвый способ добавить диски без пересборки всего. И, что приятно, без лишних трат на «коробочные» решения.

Второй — СХД своими руками. Вместо покупки готового «шкафа» за 100500 берёте нормальный сервер, HBA с внешними портами и полку. Получается то же самое, но за адекватные деньги. И 100500 миллионов остаются в семье.

Третий — удобство обслуживания. Диски в полке меняются горячей заменой, не открывая сервер. Вытащил сломанный, вставил новый — ZFS сам пережил. В отличие от администратора, которому теперь предстоит объяснять начальнику, зачем понадобилась ещё одна дисковая полка.

Что нужно серверу, чтобы «увидеть» полку.

Главное — контроллер с внешними портами. Внутренние (8i) тут не подойдут: разъёмы другие, и кабель наружу из корпуса не вывести. Нужен HBA с буквой «e» на конце — external.

• 9400-8e — проверенная классика, SAS-3 (12 Гбит/с), два внешних порта SFF-8644
• 9500-8e — если сервер на PCIe 4.0 и хочется с запасом на годы вперёд

Кабель от контроллера к полке — внешний SFF-8644. Подключили — и полка со всеми дисками видна в системе. Если дисков нужно больше, чем влезает в одну полку, полки каскадируются: вторая цепляется к выходу первой. Ограничение — число дисков на один порт, но для домашних и офисных задач его хватает с огромным запасом. Если у вас дисков больше, чем помещается в каскад полок, — у вас не проблема с хранилищем, у вас дата-центр.

Почему полки AIC — удобный вариант.

Дисковые полки AIC — это готовое решение: экспандеры уже встроены, блок питания и охлаждение на месте. Докупать дополнительные компоненты не нужно: контроллер в сервер, один кабель, диски в отсеки — и работайте. Поддерживаются и SAS, и SATA-диски, так что можно использовать то, что уже есть. Даже тот диск, который вы клялись выкинуть, а он лежит и работает уже восьмой год.

О чём забывают новички.

Режим контроллера. HBA должен быть в IT-режиме (диски «как есть»), а не в IR — иначе полка превратится в один большой RAID, и ZFS будет очень недовольна. А недовольная ZFS — это страшно, поверьте.

Охлаждение. Полка с десятком дисков — это прилично тепла. Ставьте её туда, где есть продув, а не в закрытый шкаф без вентиляции. Иначе диски начнут отваливаться по одному, и виноват будет не контроллер, а шкаф.

Один кабель — это нормально, но не всегда. Для надёжности можно подключить полку двумя кабелями (dual-port), если контроллер и полка это поддерживают. Для дома хватает одного, для боевого хранения — лучше два. Один кабель — это одна точка отказа, а она, как известно, имеет привычку отказывать в самый интересный момент.

Совместимость. Перед покупкой уточняйте, какой контроллер у вас и какой экспандер в полке. Если сомневаетесь — напишите нам, подскажем совместимую связку. Лучше спросить до покупки, чем после — когда всё уже распаковано и собрано, а оно не работает.

Словарик терминов.

JBOD (Just a Bunch Of Disks) — конфигурация хранения: набор дисков без аппаратного RAID, каждый диск виден системе отдельно.

JBOD — способ подключения дисков, при котором хранилище не объединяет их в массив: ОС видит каждый накопитель отдельно. JBOD-полки — корзины с дисками, бэкплейном и экспандером; вся логика (RAID, пулы, репликация) ложится на ПО — ZFS, mdadm, TrueNAS, Unraid. Преимущества: дешевизна, гибкость, простой перенос дисков между системами; ответственность за целостность данных — на программном стеке.

Подробнее: JBOD — Википедия

Экспандер (SAS Expander) — устройство, расширяющее один порт SAS на несколько накопителей.

SAS-экспандер — коммутатор внутри дискового отсека: на входе несколько линий SAS от контроллера, на выходе — порты для десятков дисков. Без него каждый диск требовал бы отдельного порта контроллера; с ним полка на 12–24 диска обслуживается 2–4 линиями. Архитектура SAS рассчитана на каскадирование; пропускная способность делится между дисками, поэтому для высоких нагрузок используют несколько линий uplink (wide port). Для ОС экспандер прозрачен.

Подробнее: SAS expander — English Wikipedia

HBA (Host Bus Adapter) — хост-адаптер: плата, подключающая сервер к дисковым накопителям и передающая диски системе напрямую.

HBA — «мост» между шиной сервера (обычно PCIe) и дисковым интерфейсом; в отличие от RAID-контроллера не выполняет вычислений над данными — ОС видит каждый диск отдельно. Именно поэтому HBA используют с ZFS, mdadm, TrueNAS, Unraid. Современные HBA подключаются по PCIe и дают от 4 до 16 портов (8i — внутренние, 8e — внешние). Выбор HBA оправдан, когда нужен полный контроль над дисками со стороны ОС.

Подробнее: Хост-адаптер — Википедия

IT/IR-режим — режимы контроллера: IT — диски передаются системе по одному; IR — контроллер формирует RAID-массивы аппаратно.

В режиме IT контроллер работает как чистый HBA: не создаёт массивов, даёт полный доступ к SMART, позволяет использовать ZFS/mdadm и переносить диски между системами. IR — компромисс: аппаратные RAID 0/1/10 при совместимости с драйверами HBA. Режим задаётся прошивкой; многие LSI/Broadcom (92xx/93xx/94xx) допускают перепрошивку IT↔IR (crossflash). Для NAS и серверов с ZFS/TrueNAS стандарт — режим IT.

Подробнее: Хост-адаптер — Википедия

SFF-8644 — внешний разъём SAS для подключения дисковых полок.

SFF-8644 — внешняя версия mini-SAS HD: геометрия x4, механический замок, усиленная конструкция для кабелей за пределами корпуса. Через него HBA с внешними портами (8e, например 9400-8e) подключается к полкам JBOD; один кабель несёт четыре канала SAS. Длины кабелей — от 0,5 до 10 м и более; скорость определяется младшим звеном (контроллер/кабель/полка). Переходники на старый SFF-8088 снижают скорость до 6 Гбит/с.

Подробнее: Serial Attached SCSI — English Wikipedia

Каскадирование — последовательное подключение нескольких дисковых полок через экспандеры.

Каскадирование — соединение полок цепочкой: первая — к контроллеру, вторая — к первой и т.д.; внутри каждой полки SAS-экспандер передаёт сигналы дальше. Так к одному HBA подключают несколько полок, наращивая хранилище до сотен терабайт. Ограничения: общая шина делится между полками, с ростом цепочки падает скорость на диск, отказ промежуточной полки разрывает цепочку. Практически каскадируют 2–4 полки.

Подробнее: SAS expander — English Wikipedia

Горячая замена (Hot-swap) — замена накопителя без выключения устройства.

Горячая замена — извлечение и установка накопителя на работающем сервере без остановки системы. Обеспечивается конструкцией корзины, поддержкой интерфейса (SAS, SATA при AHCI, NVMe/U.2) и ОС. В RAID после замены запускается перестроение (rebuild), нагружающее остальные диски. Не все диски и корзины корректно поддерживают hot-swap; для SATA нужен AHCI и корректное отключение устройства в ОС.

Подробнее: Горячая замена — Википедия

ZFS — файловая система с программным RAID и проверкой целостности данных; основа TrueNAS.

ZFS разработана Sun Microsystems в 2005 году и объединяет файловую систему и менеджер томов: пулы хранения, RAID-Z1/Z2/Z3, контрольные суммы, снапшоты, сжатие, дедупликация. Современная реализация — OpenZFS (Linux, FreeBSD). Главное преимущество — сквозная проверка целостности: система находит «тихое» повреждение данных (bit rot) и восстанавливает их из избыточности. ZFS требует режима HBA/IT — диски должны быть видны системе напрямую.

Подробнее: ZFS — Википедия

СХД — система хранения данных.

СХД — комплекс оборудования и ПО для централизованного хранения: дисковые полки, контроллеры, коммутация, ПО управления. По типу доступа делятся на блочные (SAN — Fibre Channel, iSCSI), файловые (NAS — NFS, SMB) и объектные. Для малого и среднего бизнеса СХД часто строят на сервере с TrueNAS/Unraid и HBA в режиме IT; ключевые метрики — ёмкость, IOPS, пропускная способность, задержки, доступность.

Подробнее: Система хранения данных — Википедия

По теме.

• Как выбрать SAS-контроллер, чтобы потом не кусать локти — база серии: HBA vs RAID, IT/IR-режим
• NVMe в сервере: U.2, U.3, Tri-Mode — если хотите в те же полки ставить быстрые SSD (выйдет следом)
• Fibre Channel — когда хранилище перерастает SAS и нужна отдельная сеть хранения
• 10GbE — как раздать скорость из полки по сети, чтобы NAS не душил гигабит

---

Всё для сборки есть у нас: контроллеры с внешними портами и дисковые полки в наличии. Подберём связку под вашу задачу — у нас за плечами не одна сотня собранных хранилищ. И ни одного развода.