Fibre Channel: дорогая игрушка или то, что спасёт вашу СХД
Fibre Channel: дорогая игрушка или то, что спасёт вашу СХД. Сдуваем нафталин!
Есть такой момент в жизни системного администратора: хранилище перестало успевать, а iSCSI по обычной сети уже не тянет. И тут кто-то говорит загадочное «Fibre Channel». Звучит как что-то из нафталина или 2005 года и для гигантов вроде банков. Так и есть — но банки, согласитесь, не дураки. FC жив, здоров и до сих пор остаётся стандартом для серьёзных СХД. Разберёмся, когда он реально нужен и как выбрать адаптер.
Коротко, если лень читать.
- FC нужен, когда СХД должна работать на максимальной скорости и стабильности: базы, виртуализация, боевое хранение
- Адаптер на сервер — ATTO 641E (1 порт, 64 Гбит/с) или 642E (2 порта, 64 Гбит/с), Gen7, PCIe 4.0
- Совместим с более старыми сетями: 64/32/16 Гбит/с
- Альтернатива для небольших задач — iSCSI или SAS-полки; FC берут, когда нужно «железно»
Чем FC отличается от обычной сети.
Fibre Channel — это отдельная сеть для хранения данных, со своими коммутаторами, кабелями (оптика) и правилами. Он не ходит по Ethernet, у него свои скорости и, главное, свои гарантии: низкие задержки, без потерь кадров, предсказуемая производительность. Для базы данных, которая ждёт ответ от диска каждую миллисекунду, это критично.
По-простому: Ethernet — это «как получится», FC — это «железно, без вариантов». Как бабушкин сервиз: достают по праздникам, зато переживёт всё, включая внуков. :)
Кому это вообще нужно.
FC берут в трёх случаях:
Серьёзная виртуализация. Несколько хостов, общее хранилище, live-миграции. FC даёт стабильную связку хост-СХД без сюрпризов.
Базы данных и 1С. Когда каждая задержка — это деньги, а узкое место не должно быть в сети. Особенно в пятницу вечером, когда все решили «сдать отчётность».
СХД уровня предприятия. Если у вас уже есть FC-коммутатор (Brocade, Cisco) и хранилище с FC-портами — серверы подключаются именно адаптерами.
Если у вас один сервер и пара дисковых полок — FC не нужен, хватит SAS (9400-8e) или iSCSI. FC — это про масштаб и отказоустойчивость. И про то, что вы серьёзный человек с серьёзным хранилищем. А если серьёзность хранилища придётся объяснять начальнику — это уже разговор про бюджет, и тут FC-адаптер окупается проще, чем кажется: он докупается один раз, а не каждый раз, когда «что-то тормозит».
Как выбрать адаптер.
Смотрим на скорость, количество портов и поколение.
- ATTO 641E — один порт, 64 Гбит/с (Gen7). Для сервера, которому нужен один путь к СХД. Скромно, но со вкусом.
- ATTO 642E — два порта, 64 Гбит/с (Gen7). Для надёжности: два пути, отказоустойчивость, балансировка. Это стандарт для боевых сред.
Обе модели — PCIe 4.0 и работают с сетями 32 и 16 Гбит/с: если у вас ещё старое оборудование, адаптер спокойно с ним подружится. FC-адаптеры ATTO у нас есть в наличии — на 32 и 64 Гбит/с.
О чём забывают.
Оптика и трансиверы. FC работает по оптике: нужны SFP+ модули и патч-корды. Проверьте, что идёт в комплекте, а что нужно докупить. Не забываем про FC-коммутаторы при количестве хостов больше двух. Сюрпризы на этапе «уже всё подключил, а оно не загорается» — никому не нужны.
Зонирование. Просто «подключить» недостаточно — на FC-коммутаторе настраивается зонирование (кто кому виден). Без этого адаптер может не увидеть СХД. И тогда вы узнаете, что такое настоящая медитация.
Два пути — это не роскошь. Для боевого хранения берите двухпортовый адаптер и два пути до СХД. Один кабель — одна точка отказа. А точка отказа, как водится, выбирает самый неподходящий момент — обычно ночь перед релизом.
Проверка совместимости. FC-адаптеры дружат не со всеми СХД из коробки. Уточняйте список совместимости до покупки — или спросите нас, подскажем. Лучше спросить сейчас, чем потом объяснять начальнику, почему «всё по документации, но не работает».
Словарик терминов.
Fibre Channel (FC) — сетевой протокол и архитектура для высокоскоростной передачи данных в SAN; низкие задержки, отсутствие потерь кадров.
Fibre Channel разрабатывался в конце 1980-х — начале 1990-х специально для сетей хранения: управление потоком (credit-based flow control) исключает потерю кадров при перегрузке, что критично для дисковых операций. Скорости выросли с 1 Гбит/с (1GFC) до 64 Гбит/с (Gen 7, 64GFC). FC-сеть состоит из HBA в серверах, FC-коммутаторов и портов СХД, соединённых оптикой; топология «fabric» позволяет любому устройству общаться с любым другим, а видимость ограничивается зонированием.
Подробнее: Fibre Channel — Википедия
СХД — система хранения данных: комплекс оборудования и ПО для централизованного хранения.
СХД — специализированный комплекс для хранения и предоставления данных нескольким серверам: дисковые полки, контроллеры, коммутация и ПО управления. По типу доступа делятся на блочные (SAN — Fibre Channel, iSCSI), файловые (NAS — NFS, SMB) и объектные. Для малого и среднего бизнеса СХД часто строят на сервере с TrueNAS/Unraid, HBA в режиме IT и полками JBOD; ключевые метрики — ёмкость, IOPS, пропускная способность, задержки, доступность.
Подробнее: Система хранения данных — Википедия
SAN (Storage Area Network) — выделенная сеть хранения данных, обеспечивающая блочный доступ к накопителям.
SAN — архитектура, в которой хранилище выделено в отдельную сеть и отдаёт серверам «сырые» блоки (в отличие от NAS, отдающего файлы по NFS/SMB): сервер сам выбирает файловую систему. Традиционно строится на Fibre Channel, в бюджетных вариантах — на iSCSI по Ethernet. Преимущества — высокая скорость, низкие задержки, централизованное управление ёмкостью, подключение одного массива к множеству серверов (включая кластеры); применяется в базах данных, виртуализации, корпоративных СХД.
Подробнее: Storage Area Network — Википедия
iSCSI — протокол передачи блочных команд SCSI поверх IP-сети; альтернатива FC для небольших задач.
iSCSI передаёт команды и данные SCSI по обычному Ethernet: сервер (инициатор) обращается к удалённому хранилищу (таргету) как к локальному диску. Стандартизирован IETF (RFC 3720, 2004), не требует специального оборудования — достаточно гигабитного или 10-гигабитного Ethernet. Это самая дешёвая альтернатива Fibre Channel для SAN; цена — более высокие задержки и зависимость от нагрузки сети. Популярен в небольших инфраструктурах и виртуализации (VMware, Proxmox).
Подробнее: iSCSI — Википедия
FC-коммутатор — коммутатор для сети Fibre Channel; требуется при количестве хостов больше двух.
FC-коммутатор — центральное устройство FC-фабрики: соединяет серверные HBA с портами СХД и коммутирует трафик. При подключении двух устройств напрямую коммутатор не нужен, но при большем числе хостов без него не обойтись. Ключевые функции — зонирование, маршрутизация кадров, виртуальные фабрики (VSAN), мониторинг. Коммутаторы бывают начального уровня (8–24 порта) и директорного класса (сотни портов, горячая замена модулей); их стоимость — главная причина выбора iSCSI в малом бизнесе.
Подробнее: Fibre Channel — Википедия
Зонирование (Zoning) — настройка FC-коммутатора, определяющая, какие устройства видят друг друга.
Зонирование ограничивает видимость устройств в FC-сети: администратор задаёт группы портов/устройств (зоны), внутри которых разрешён обмен. Это одновременно безопасность (изоляция трафика) и стабильность (исключение конфликтов и лишнего широковещания). Различают зонирование по портам, по WWN (уникальным адресам устройств) и по доменам; без корректного зонирования серверы могут получить доступ к чужим дискам.
Подробнее: Fibre Channel zoning — English Wikipedia
SFP+ — стандарт сменных модулей для 10-гигабитных сетей и FC: оптика или DAC.
SFP+ — промышленный стандарт компактных приёмопередатчиков для скоростей до 10 Гбит/с (в FC — до 16 Гбит/с). Модуль определяет среду передачи: оптика, медный DAC или 10GBASE-T. Развился из SFP (1 Гбит/с) с сохранением форм-фактора; позволяет менять тип подключения без замены оборудования. При выборе важна совместимость модулей с вендором и поддерживаемые стандарты (10GBASE-SR/LR, 8/16GFC).
Подробнее: SFP — Википедия
HBA, SAS, SFF-8644, JBOD — см. статьи «Как выбрать SAS-контроллер» и «Дисковые полки JBOD».
По теме.
- Как выбрать SAS-контроллер, чтобы потом не кусать локти — база серии: HBA, IT/IR-режим, 8i/8e
- Дисковые полки JBOD — если FC не нужен, а диски добавить надо: SAS-полки с 9400-8e
- 10GbE — та же оптика (SFP+), но по Ethernet: когда iSCSI по 10G выгоднее FC
---
FC-адаптеры ATTO 641E и 642E в наличии, поможем с выбором и совместимостью. А если FC вам не нужен — честно скажем, что хватит SAS-контроллера: смотреть SAS/NVMe контроллеры. Мы вообще за то, чтобы вы не переплачивали. Ну, почти всегда.