10GbE: собираем быструю сеть, в которой файлы летают

10GbE: собираем быструю сеть, в которой файлы летают.

Если ваш NAS отдаёт файлы со скоростью 100 МБ/с — это не NAS виноват, это сеть. Ну ладно, может, и NAS, но чаще всё-таки сеть. Обычный гигабит давно стал бутылочным горлышком: сервер может больше, диски могут больше, а кабель душит всех. Лечится это переходом на 10GbE. Разберёмся, что нужно, чтобы собрать такую сеть и не разориться.

Коротко, если лень читать.

• 10GbE даёт ~1 ГБ/с — в 10 раз быстрее обычного гигабита
• Варианты подключения: SFP+ (оптика/DAC) или RJ45 (медь 10GBASE-T)
• Для NAS/сервера нужна сетевая карта 10GbE, для нескольких машин — коммутатор 10G
• Короткие расстояния (до 7 м) — DAC-кабели, до 90 м (чаще всего до 60 м) — медь, длинные — только оптика.

Почему гигабита уже мало.

Посчитаем честно. Гигабит — это ~110 МБ/с полезной скорости. Современный NAS на паре дисков выдаёт 200–500 МБ/с, NVMe-сервер — и вовсе гигабайт в секунду. Итог: сеть режет производительность в разы, а вы думаете, что «диски медленные». После перехода на 10GbE картинка меняется радикально — бэкапы заканчиваются за минуты, видео монтируется прямо с сервера, базы не ждут. Единственный минус — начинаешь замечать, насколько медленный интернет у провайдера. Ну, это уже другая история. Зато теперь у вас есть готовый ответ начальнику на вопрос «зачем нам это железо»: бэкапы, которые раньше копировались всю ночь, теперь заканчиваются до обеда.

SFP+ или RJ45: что выбрать.

SFP+ (оптика/DAC). Стандарт для серверов и СХД. Разъём компактный, скорости честные, задержки минимальные. На короткие расстояния (до 7 метров) — готовый DAC-кабель (медный, с разъёмами на концах), на длинные — оптические модули и патч-корд. Минус один: привычного «витого штекера» тут нет, нужны SFP+ модули. Зато выглядит это всё очень технологично, гости будут впечатлены.

RJ45 (10GBASE-T). Удобно, если в стене уже проложена витая пара. Но: греется, потребляет больше энергии, и кабель нужен нормальный — Cat6a/Cat7. Для дома и офиса — ок, для серверной — обычно SFP+.

Правило простое: сервер и СХД — SFP+, рабочее место — как удобнее. У нас есть и готовые решения: адаптеры 10GbE (включая Thunderbolt-варианты для рабочих станций) и коммутаторы с портами 10G.

Что нужно для сборки.

Серверу — карта 10GbE. Один SFP+ порт — минимум, два — для надёжности или агрегации.

Рабочей станции — то же самое. Если это Mac или ноутбук без SFP+ — Thunderbolt-адаптер 10GbE, работает отлично. Да, макбук тоже может работать на полной скорости.

Коммутатор. Если машин больше двух — нужен коммутатор с SFP+ портами. Смотрим, чтобы портов хватало на всех, кто хочет 10 гигабит. На «просто посмотреть» порты не дают, так что считайте честно.

Кабели и модули. DAC до 7 м, оптика — дальше. Всё считается по месту, но общее правило: не экономьте на кабелях, дешёвый DAC — это мигающий линк и «внезапные» 100 МБ/с. Экономия в 500 рублей, которая стоит вам двух дней диагностики, — так себе сделка.

О чём забывают.

Не вся витая пара — одинаковая. Для 10GBASE-T нужен Cat6a минимум, а лучше Cat7. Старый Cat5e покажет 10G только на коротких дистанциях и то не факт, что заработает. Если кабель в стене — проверьте, что там залито, до того как заштукатурили.

SFP+ модули бывают разные. Совместимость модулей с коммутатором/картой — вечная боль. Проверяйте список совместимости или берите проверенные связки. Иначе будете как тот парень с башорга: «у меня лапки, я не нашёл».

Обновлять надо всю цепочку. Карта в сервере, карта в клиенте, коммутатор между ними. Оставите хоть один гигабитный участок — скорость будет гигабитной. Это как с дружбой: всё решает самое слабое звено.

Охлаждение и питание. 10G-коммутаторы горячее и прожорливее обычных. В серверном шкафу должно быть чем дышать. Иначе коммутатор будет перегреваться, сбрасывать скорость и портить вам настроение.

Словарик терминов.

10GbE — стандарт Ethernet с пропускной способностью 10 Гбит/с (~1 ГБ/с полезной скорости).

10GbE — десятое поколение Ethernet (IEEE 802.3ae, 2002 год), ориентированное на серверные задачи: передача больших объёмов данных, виртуализация, хранилища. Реальная скорость — около 1–1,2 ГБ/с, что сравнимо с быстрыми NVMe-накопителями: именно сеть, а не диски, часто становится узким местом сервера. Физически 10GbE реализуется через SFP+ (оптика/DAC), 10GBASE-T (витая пара RJ45) или встроенные порты; устройства автоматически согласуют скорость с 1GbE, что позволяет переводить сеть на 10G поэтапно.

Подробнее: 10 Gigabit Ethernet — Википедия

SFP+ — стандарт сменных модулей для 10-гигабитных сетей: оптика или DAC.

SFP+ — промышленный стандарт компактных приёмопередатчиков для скоростей до 10 Гбит/с (в Fibre Channel — до 16 Гбит/с). Модуль определяет среду передачи: одномодовая/многомодовая оптика, медный DAC или 10GBASE-T (SFP+ → RJ45). SFP+ позволяет менять тип подключения без замены оборудования; для коротких расстояний выгоден DAC, для длинных — оптика (до 10 км одномодом). При выборе важна совместимость модулей с конкретным вендором оборудования.

Подробнее: SFP — Википедия

DAC-кабель (Direct Attach Cable) — готовый медный кабель с разъёмами SFP+ на концах; применяется на расстояниях до 7 м.

DAC — фабричный медный кабель, у которого модули SFP+ встроены в концы: без оптики и отдельных трансиверов. Сигнал идёт по twinax-медным жилам, поэтому DAC дёшев, надёжен и не требует обслуживания оптических разъёмов. Пассивные DAC работают до 7 м без дополнительного питания, активные — до 10–15 м; применяются в стойках и ЦОД для соединения соседних устройств. При покупке проверяйте совместимость с вендором оборудования.

Подробнее: Twinaxial cabling — English Wikipedia

10GBASE-T — стандарт 10-гигабитного Ethernet по витой паре (RJ45); требует Cat6a и выше.

10GBASE-T (IEEE 802.3an, 2006) передаёт 10 Гбит/с по меди с разъёмом RJ45 и совместим с привычной инфраструктурой: те же кабели и патч-панели, что и у гигабита. Для полной длины 100 м нужен Cat6a и выше; обычный Cat5e держит 10GBASE-T только на коротких участках. Минусы — энергопотребление и задержка (~2–3 мкс), поэтому в ЦОД предпочитают SFP+/DAC/оптику, а 10GBASE-T выбирают там, где уже проложена витая пара.

Подробнее: 10 Gigabit Ethernet — Википедия, 10GBASE-T — English Wikipedia

Cat5e / Cat6a / Cat7 — категории витой пары; для 10GBASE-T нужен Cat6a минимум.

Категории определяют частотный диапазон и максимальную скорость: Cat5e (100 МГц) — гигабит; Cat6 (250 МГц) — гигабит с запасом, 10GbE на ограниченных длинах; Cat6a (500 МГц) — полный 10GBASE-T на 100 м; Cat7 (600 МГц, экранирование S/FTP) — 10GbE с защитой от помех, но не признан официальным стандартом TIA/EIA. Для новых линий под 10GbE прокладывают Cat6a/Cat7; качество линии зависит и от монтажа (обжим, зачистка экрана).

Подробнее: Витая пара — Википедия, Category 6 cable — English Wikipedia

Коммутатор — сетевое устройство, соединяющее несколько машин в сеть.

Коммутатор (switch) соединяет компьютеры и серверы и передаёт кадры только в порт назначения по таблице MAC-адресов, без коллизий (в отличие от концентратора). Делятся на неуправляемые (plug-and-play) и управляемые — с VLAN, QoS, мониторингом и агрегацией портов. Для 10GbE коммутатор — ключевой элемент: от типа портов (SFP+/10GBASE-T), размера таблицы MAC и пропускной способности зависит реальная производительность сети; управляемые модели позволяют выделить трафик хранилища (iSCSI) в отдельный VLAN.

Подробнее: Сетевой коммутатор — Википедия

Thunderbolt — высокоскоростной интерфейс (PCIe поверх кабеля) для подключения внешних устройств и адаптеров.

Thunderbolt — интерфейс Intel (при участии Apple), объединяющий в одном разъёме PCIe и DisplayPort. Через него подключают внешние NVMe-накопители, док-станции, мониторы и сетевые адаптеры со скоростью шины PCIe. Поколения: TB 1/2 (10/20 Гбит/с), TB 3/4 (40 Гбит/с, разъём USB-C), TB 5 (до 80/120 Гбит/с). Для сетевых задач Thunderbolt используют для подключения внешних 10GbE-адаптеров к ноутбукам и мини-ПК без слота PCIe.

Подробнее: Thunderbolt — Википедия

NAS, СХД, NVMe — см. статьи «Дисковые полки JBOD» и «NVMe в сервере».

По теме.

• Дисковые полки JBOD — если NAS растёт, а гигабит его душит: сначала диски, потом сеть
• NVMe в сервере — сервер с NVMe выдаёт гигабайт в секунду, и сеть должна успеть
• Как выбрать SAS-контроллер, чтобы потом не кусать локти — база серии
• Fibre Channel — если «просто быстрой сети» мало и нужна отдельная сеть хранения

---

Собрать сеть 10GbE поможем: контроллеры и адаптеры, коммутаторы в наличии. Подскажем совместимые модули и кабели под вашу задачу. Без лапок, всё найдём.