Кабельная инфраструктура для 40/100 Гбит Ethernet
В этой статье мы обсудим влияние перехода к скоростям 40/100 Гбит на кабельную инфраструктуру центров обработки данных, а также решения, которые должны принимать организации для подготовки к этому переходу.
Введение
В июне 2010 года Институт инженеров по электротехнике и электронике (IEEE) опубликовал стандарт 802.3ba описывающий 40/100G Ethernet. С ратификацией нового отраслевого стандарта и ростом требований к полосе пропускания в центрах обработки данных, технология 40/100G Ethernet становится неотъемлемым компонентом следующего поколения ЦОД. Эту технологию уже невозможно не принимать во внимание организациям планирующим строить и эксплуатировать центры обработки данных.
По прогнозам компании Infonetics Research к 2015 году число портов 40/100 Гбит Ethernet будет занимать более 25% от всех Ethernet портов 1-100 Гбит (см. рис 1).
Рис. 1. Прогноз количества портов 40/100 Гбит/с в 2015 году.
Области применения 40 и 100 Гбит Ethernet:
| 40 Гбит | 100 Гбит |
|---|---|
|
|
Рынок подтверждает это, производители коммутаторов и трансиверов реагируют на повышение спроса на аппаратные средства Ethernet выпуском новых продуктов. Ведущие игроки Cisco, Brocade, Alcatel-Lucent, Juniper Networks уже выпустили продукты поддерживающие 40/100G Ethernet (см. рис 2). В качество интерфейсов активного оборудования 40/100 Гбит используются модули QSFP (Quad small form-factor pluggable), CFP и CXP.
Рис. 2. Примеры активного оборудования 40/100G Ethernet.
Cтандарт 802.3ba описывает различные спецификации физического уровня. Краткая информация о спецификациях физического уровня для скоростей 40 и 100 Гбит/с:
В качестве кабельной среды передачи стандарт определяет: шины длиной до 1 м, кабельные сборки длиной до 7 м на основе медных кабелей, многомодовые волоконно-оптические кабели длиной до 100/150 м и одномодовые волоконно- оптические кабели длиной до 10/40 км.
Для центров обработки данных наибольший интерес вызывает использование 40GBASE-SR4 и 100GBASE-SR10 на базе многомодового волоконно- оптического кабеля. 40GBASE-SR4 и 100GBASE-SR10 основаны на параллельной передаче по нескольким волокнам на длине волны 850 мкм и поддерживают передачу на длину до 100 м на волокнах категории OM3 и до 150 м на волокнах категории OM4. Эффективная скорость на каждую линию 10 Гбит в секунду. Таким образом, 40GBASE-SR4 поддерживает передачу 40 Гбит Ethernet по 4 параллельным волокнам в каждом направлении, т.е суммарно 8 волокон, а 100GBASE-SR10 поддерживает передачу 100 Гбит Ethernet по 10 волокнам в каждом направлении, т.е. суммарно 20 волокон (см. рис 3 и 4).
Рис. 3. Параллельная передача 40 Гбит.
Рис. 4. Параллельная передача 100 Гбит.
Использование многомодового кабеля в обусловлено короткими длинами линий и каналов в ЦОД, редко достигающих 100 м, а также сравнительной простотой и низкой стоимостью активного оборудования, использующего VCSEL лазеры и простую схему кодирования. Системы 40/100 Гбит на основе одномодового волокна используют несравнимо более дорогую технологию мультиплексирования по длинам волн — WDM (англ. Wavelength Division Multiplexing) или спектрального разделения каналов.
Стандарты СКС для ЦОД
Параллельно с разработкой сетевых стандартов идет разработка стандартов СКС. Поскольку технологии 40/100 Гбит используются предпочтительно в центрах обработки данных, рассмотрим текущее состояние стандартизации кабельных систем для ЦОД.
В настоящее время существует группа стандартов описывающих кабельные системы ЦОД:
- Международный стандарт ISO/IEC 24764 «Информационная технология — СКС для ЦОД»
- Стандарт США TIA-942, «Telecommunications Infrastructure Standard for Data Centers». Данный стандарт является более полным, поскольку описывает не только кабельные системы ЦОД, но и другие аспекты, такие как, например проектирование и монтаж ЦОД, помещения и кабельную канализацию и др.
- Международный стандарт ISO/IEC 14763-2 «Информационная технология — Изготовление и эксплуатация кабельной системы зданий и территории заказчика – Часть 2: Разработка и инсталляция». Очень полезный стандарт для проектировщиков и операторов СКС. Стандарт принят в феврале 2012 года и по сути является дополнением стандарта ISO/IEC 11801 описывающим требования СКС к: проектированию, инсталляции, документации, управлению, контролю качества, тестированию, техническому обслуживанию, ремонту, полярности и др. Кстати, этот стандарт фактически дополняет ISO/IEC 24764 до TIA-942
- Международный стандарт ISO/IEC 14763-3: «Тестирование кабельной системы на основе оптоволокна». Описывает тестирования волоконно- оптических СКС в том числе и СКС для ЦОД.
Кроме того, существует техническое пособие BICSI по проектированию ЦОД —ANSI/BICSI 002-2011, Data Center Design and Implementation Best Practices. Как и все пособия BICSI — это одно из лучших в отрасли пособий по проектированию и обслуживанию ЦОД.
Также стоит обратить внимание на документ компании Telcordia GR-3160 — NEBS(TM) Requirements for Telecommunications Data Center Equipment and Spaces.
Стандарт ISO/IEC 24764 всецело базируется на основном стандарте СКС ISO/IEC 11801, но дает несколько дополнительных требований оптимизированных для ЦОД. В структуре СКС для ЦОД нет, например, магистральной подсистемы территории, зато есть подсистема сетевого доступа (Network access cabling subsystem), что и логично для ЦОДов расположенных компактно и подключаемых к внешним провайдерам (см. рис 5 и 6).
Рис. 5. Структура СКС для ЦОД.
Рис. 6. Иерархическая структура СКС для ЦОД.
Структура и топология СКС для ЦОД по TIA-942 близка к структуре и топологии по международному стандарту. Следует отметить, что несмотря на некоторые особенности, СКС для ЦОД сохраняет всю идеологию обычных СКС, а именно, стандартизованные: структура, компоненты, характеристики, управление.
В качестве минимальных требований к кабелям стандарт ISO/IEC 24764 устанавливает категорию 6A для медных кабелей и категорию OM3 для многомодовых волоконно-оптических кабелей, т.е., о волокнах категорий OM1 и OM2 в ЦОД можно забыть.
Для волоконно-оптических систем с более чем 2 волокнами стандарт требует использования многоволоконных коннекторов типа MPO, т.е. использование разъемов типа MPO объективная реальность СКС для ЦОД, сложно представить себе ЦОД только с 2 волокнами.
Разъемы MPO/MTP
Многоволоконный разъем MPO (Multi-fiber push-on) рис. 7 описывается стандартами IEC 61754-7 и TIA-604-5 (также называемый FOCIS 5). Выбор многоволоконного разъема типа MPO является разумной альтернативой для кабельной инфраструктуры систем высокой плотности, где используются сотни или тысячи портов, какими являются ЦОДы.
Конструкция разъема MTP (Mechanical Transfer Push-on) компании US Connec является улучшенной версией разъема MPO. Разъем MTP имеет ряд улучшений по сравнению с обычным разъемом MPO, как то: центрирующие штыри эллиптической формы из нержавеющей стали для улучшения взаимного расположения волокон двух коммутируемых разъемов и уменьшения их износа. MT-ферул в разъеме MTP имеет плавающую конструкцию, что обеспечивает целостность физического контакта, находящихся под воздействием нагрузки разъемов. Встроенный металлический зажим для овальной пружины с фиксацией обеспечивает надежную фиксацию и приложение сил пружины. Разъем MTP полностью совместим с MPO и IEC 61754-7 и TIA-604-5.
Рис. 7. Разъем типа MPO.
12 или 24
MPO/MTP коннекторы бывают 12-волоконные и 24-волоконные (см. рис 8). Выбор того или иного варианта определяется исходя из многих факторов: требований проекта, планов расширения, цены, оптических характеристик и т.д. В общем случае, поскольку для функционирования 100 Гбит требуется 20 волокон, использование систем с 24-волокнами является предпочтительным. Кроме того, диаметры 12 и 24-волоконных кабельных сборок, практически, идентичны, что также дает предпочтение 24-волоконным системам поскольку в два раза уменьшает количество кабелей, что облегчает их организацию и уменьшает загрузку кабельной канализации.
Рис. 8. 12- и 24-волоконные MPO коннекторы.
Линии и каналы на основе коннекторов MPO/MTP могут поддерживать скорости 1/10/40/100 Гбит. В случае 1/10 Гбит используется только два волокна, поэтому в данном случае каналы с разъемами MPO/MTP подключаются к кассетам или fanout-сборкам, которые используются в качестве перехода с MPO/MTP на стандартные разъемы LC или SC (см. рис. 9 и 12). Примеры подключения оборудования к кроссам высокой плотности в главной подсистеме, подсистеме сетевого доступа и в зоновой подсистеме по ISO/IEC 24764 даны на pис. 10 и 11. В дальнейшем при переходе с 1/10G на 40/100G все магистральные кабели будут сохранены, а кассеты и коммутационные шнуры на обоих концах канала будут заменяться на MPO/MTP шнуры, которые будут подключаются непосредственно к трансиверам активного оборудования. Для подключения к кабельной системе в активном оборудовании 40/100 Гбит трансиверы активного оборудования используют разъемы MPO/MTP.
Рис. 9. Кассета 2xMTP(12) – 24xLC, OM4, 24-портовая вид спереди и сзади.
Рис. 10. Примеры подключения оборудования к кроссам высокой плотности в главной подсистеме.
Рис. 11. Примеры подключения оборудования к кроссам высокой плотности в главной подсистеме.
Рис. 12. Fanout-сборка 1xMTP(12) – 12xLC, OM3.
Оптические характеристики
Решения 40/100 Гбит разрабатываются исходя из многих требований: типа и количества волокон, типа разъемов, длины, вносимых потерь и т.д.
Параметр вносимые потери (Insertion Loss) представляет собой сумму всех потерь сигнала во время его прохождения по волоконнo-оптическому каналу. Включает в себя потери в кабеле и потери в разъемах. Допустимые вносимые потери в каналах 40/100 Гбит значительно меньше по сравнению с менее скоростными вариантами Ethernet. Эволюцию технологии Ethernet для многомодового волоконно-оптического кабеля, а также изменения требований к вносимым потерям, можно посмотреть в таблице:
| Год | Приложение | Стандарт | Скорость, Мбит/c | Длина, м | Число волокон | Вносимые потери, дБ |
|---|---|---|---|---|---|---|
| 1987 | FOIRL | IEEE 802.3d | 10 | 1000 | 2xSMA (ST) | 12,5 |
| 1993 | Ethernet 10BASE-FL | IEEE 802.3j | 10 |  2000 | 2xST |  12,5 |
| 1995 | Fast Ethernet 100BASE-FX | IEEE 802.3u | 100 | 2000 | 2xSC (ST, MIC) | 11 |
| 1998 | 1G Ethernet 1000Base-SX | IEEE 802.3z  | 1’000 | 550 | 2 x SC | 3,56 |
| 2003 | 10G Ethernet 10GBASE- SR | IEEE 802.3ae | 10’000 | 300 (OM3) | 2xLC | 2,6 |
| 2003 | 10G Ethernet 10GBASE- SR | IEEE 802.3ae | 10’000 | 550 (OM4) | 2xLC | 2,6 |
| 2010 | 40G Ethernet 40GBASE‐ SR4 | IEEE 802.3ba | 40’000 | 100 (OM3) | 8, MPO | 1,9 |
| 2010 | 100G Ethernet 40GBASE‐ SR10 | IEEE 802.3ba | 100’000 | 100 (OM3) | 20, MPO | 1,9 |
| 2010 | 40G Ethernet 40GBASE‐ SR4 | IEEE 802.3ba | 40’000 | 150 (OM4) | 8, MPO | 1,5 |
| 2010 | 100G Ethernet 40GBASE‐ SR10 | IEEE 802.3ba | 100’000 | 150 (OM4) | 20, MPO | 1,5 |
Поскольку большинство центров обработки данных работают на коротких расстояниях по сравнению с магистральными системами, потери от длины кабелей незначительны по сравнению с потерями в соединениях. Приемлемые вносимые потери в соединениях обычно достигаются за счет:
- использование лучших доступных разъемов, например, разъемов MTP;
- использования высококачественных, заводского производства волоконно-оптических шнуров, сборок и кассет.
C ростом числа соединений в СКС возрастет управляемость, но производительность падает. Это объясняется тем, что дополнительные соединения способствуют росту потерь. Поэтому в ЦОД необходимо поддерживать баланс между управляемостью и производительностью.
Выбор правильных компонентов СКС помогает добиться баланса управляемости и производительности. Компоненты СКС с низкими значениями оптических потерь будут гарантировать максимальную производительность. При сравнении вносимых потерь кабельных компонентов, всегда нужно обращать внимание на «максимальное», вместо «типичного» значения потерь. В то время как типичные потери могут ссылаться на эксплуатационные характеристики продукта, они не являются достоверными при расчетах.
При проектировании СКС нужно четко определять число соединений и используемые компоненты. Например, в СКС для ЦОД для поддержки 40/100 Гбит категории OM4 допустимый оптический бюджет в канале не более 1,5 дБ. В данном случае имеет смысл использование только улучшенных разъемов типа разъемов MTP с потерями не более 0,5 дБ, использование «обычных» разъемов MPO с потерями 0,75 дБ будет уже невозможно.
OM3 и OM4
При выборе категории волокна OM3 или OM4 в общем случае, предпочтительно использовать OM4. Преимущества волокна OM4 — более высокая широкополосность, что позволяет достигать длины канала 150 метров. Ниже даны параметры 50/125 мкм многомодового волокна OM3/OM4 производства компании Draka:
| Параметр | OM3, 850 нм | OM4, 850 нм |
| Затухание, дБ/км  | 3,0  | 3,0 |
| EMB*, МГц•км | 2000 | 4700 |
| Максимальная длина канала 1G, м | 1000 | 1000 |
| Максимальная длина канала 10G, м | 300 | 550 |
Skew и полярность
Параметр Skew определяется как разница между временем прибытия одновременно переданных сигналов через параллельные волокна или пары кабеля. IEEE 802.3ba стандарт нормирует параметр skew 79 нс, а например, InfiniBand 0,75 нс. При проектировании СКС для ЦОД желательно закладывать поддержку не только 40/100 Гбит Ethernet, но и других высокоскоростных технологий, таких как InfiniBand и Fiber Channel.
При использовании многоволоконных разъемов MPO/MTP необходимо учитывать полярность такой системы. Существуют три типа полярности: A, B и C. Полярность описана в приложении А к стандарту ISO/IEC 14763-2 («Информационная технология – Изготовление и эксплуатация кабельной системы зданий и территории заказчика – Часть 2: Разработка и инсталляция») и в стандарте TIA-568-C.3. Все компоненты должны быть изготовлены с одинаковой полярностью. Полярность в многоволоконных разъемах MPO определяется на заводе изготовителе и ее невозможно изменить при монтаже. Наиболее часто используется полярность типа A.
Переход от 1/10 Гбит к 40/100 Гбит
На рисунках 13-18 показаны конфигурации 12- и 24-волоконной кабельной системы 1/10/40/100 Гбит. При переходе на 40/100 Гбит все кабели MPO/MTP сохраняются, а кассеты, шнуры LC и SC, fanout-сборки на обоих концах канала меняются на шнуры MPO/MTP, которые подключаются непосредственно к трансиверам активного оборудования.
Как мы видим, использование систем с 24-волоконнами является предпочтительным, поскольку облегчает переход на технологии 40/100 Гбит.
Рис. 13. 1/10 Гбит 12-волоконная система.
Рис. 14. 40 Гбит 12-волоконная система.
Рис. 15. 100 Гбит 12-волоконная система.
Рис. 16. 1/10 Гбит 24-волоконная система.
Рис. 17. 40 Гбит 24-волоконная система.
Рис. 18. 100 Гбит 24-волоконная система.
Преимущества MPO/MTP
Преимуществом кабельных систем на основе MPO/MTP помимо высокой плотности портов является концепция plug and play. Претерминированные компоненты, предназначены для быстрого развертывания кабельной системы без необходимости сварки волокон. Время установки сокращается на 75%. Также поскольку все компоненты производятся в заводских условиях они обладают высоким качеством и надежностью. Использование MPO/MTP дает высокую плотность монтажа с которой легко работать, удобную организацию кабелей и снижение общего количества кабелей на 70%.
Использование разъемов торговой марки MTP дает малые вносимые потери компонентов и предоставляют большее количество соединений при заданном бюджете.
Следует отметить, что решения на основе разъемов MPO/MTP можно использовать не только в СКС для ЦОД, но в любых других СКС.
Выводы
В течение нескольких ближайших лет высокоскоростные технологии 40/100 Гбит Ethernet будут распространены в центрах обработки данных для всех типов организаций.
Модульная 24-волоконная MTP кабельная система с концепцией Plug-n-Play является наиболее экономически эффективным и перспективным решением. Система поддерживает существующие сетевые технологии и переход на 40/100 Гбит будет легким шагом.
Следует обращать внимание на:
- Общие длины каналов (в соответствии спецификации IEC)
- Расчет бюджета мощности
- Правильный выбор метода полярности.