Обоснование выбора архитектуры сети ЦОД: сравнение вариантов v1 и v2.1

1.

Обоснование архитектурного решения сети ЦОД
v2 «одноядерная» vs v1 «многоядерная» — финал с рисунками
Версия 6.0 — с учетом ТТ РусГидро, политики КИИ, TIA-942, EVPN-VXLAN, PRP
8 рисунков из кропов, 45 источников, таблицы Table Grid без заливки

2.

Схема v1 — многоядерная «макароны»: N×M кросс-линков, SpaceNode член всех
VLAN
• Нет общего ядра, точка агрегации = SpaceNode
• С южных портов NIC — транки во все сегменты (101,102,200-203,301,401,402 + ВМ)
• Десятки VLAN на NIC, программный RedBox/шлюз в ОС гипервизора
• Сотни port-VLAN конфигураций, дрейф, «макаронная» СКС
• Нарушает СТО 70238424 п.5.5: ЛВС должна быть отказоустойчива к компонентам, а в
v1 ЛВС = компонент
• Нарушает IEC 62439-3: LAN A/B сходятся в одном узле — common mode failure
Рис.1 — v1 общая, Рис.2 — узел mac_node.png — десятки VLAN на NIC

3.

Схема v2.1 — одноядерная «звезда»: пара независимых ядер PRP LAN A/B
• Пара независимых ядер в каждом ЦОД = PRP LAN A/B, только L3 route-link 1.0.0.1/30 +
blackhole
• Все VLAN терминируются SVI на ядре: 10.10.10.254 vlan10, 101.254 vlan101, 102.254
vlan102, 200.254 vlan200, 41.254 vlan401, 42.254 vlan402, 31.254 vlan301, 31.0/24 и
32.0/24 СОЕВ
• Сервер — один bond0 (10G+1G), CPU под ВМ, без десятков VLAN
• DAN — к обоим ядрам, RedBox отдельные АРМ/ОСО с FW stateful
• Иерархическая звезда по TIA-942, MDA→HDA, трассы A/B раздельно, резерв 10-15%
• Соответствует spine-leaf: 2 spine (LAN A/B) + leaf (серверы), все ISL L3, no STP, ECMP
Рис.4 — v2.1 общая, Рис.5 — ядро v21_core.png, Рис.6 — узел v21_node.png — один bond0

4.

Топология: «звезда» vs «полная сетка» — количественно
Упрощенные модели:
Показатель
v1 mesh
v2 star
Технолог. линков всего
≈60
≈28
Линки серверов
48-60 южных
12 (6 bond×2)
Конфиг объектов
100-110 port-VLAN +6 vSwitch
18 SVI +28 портов +6 bond
Точки политики
каждый узел (vSwitch)
2 (ядро A/B)
Добавление сегмента
+8 линков +12-18 VLAN на всех
узлах
+2 линка +2 SVI
TIA-942
нарушает hierarchical star
соответствует
EVPN ready
нет, лимит 4094 VID
да, шаг к 16M VNI
v2_star.png — звезда: серверы только на ядро, сегменты задвоены на ядро
v1_mesh.png — полная сетка: кросс-линки от каждого сервера к каждому сегменту
TIA-942 требует hierarchical star, no more than one level cross-connect, redundant MDA
[Anyflip, Grokipedia]
Spine-Leaf: уменьшает задержку, all ISL L3, no STP, easier scale [IKS Media, Reddit]
VLAN 4094 vs VXLAN 16M VNI, MAC-in-UDP, ECMP [IP With Ease, Cisco, NetPilot]

5.

Нормативная база — почему v2 соответствует
Международные: TIA-942, ISO 22237, EN 50600, Tier III-IV — ядро в MDA, звезда, без ЕТО
Документ
Требование
v1
v2
IEC 62439-3 PRP
LAN A/B failindependent, no
common switches, diff
power
нарушено — общий
узел
соблюдено — только L3
СТО 302-2020
RedBox = пром.
коммутатор, резерв 1015%
сервер=RedBox
нарушение
отдельные RedBox,
резерв на ядре
СТО 266-2019
Сервер ≥2 Ethernet
RSTP/PRP = DAN
сервер=шлюз
нарушение
сервер=DAN соотв.
TIA-942
hierarchical star, MDA
core, redundant diversely
routed
агрегация на серверах
звезда, MDA, A/B трассы
СТО РусГидро п.5.5
ЛВС отказоустойчива к
компонентам
ЛВС=компонент
нарушение
соответствует
ФСТЭК 239 КИИ
сегментация, периметр,
DMZ, потоки,
мониторинг
размыто, нет центра
центр. на ядре
Промышленные: IEC 62439-3, IEC 61850 — 0 мс, SV/GOOSE QoS
Отраслевые ФСК — прямая норма PRP
Корпоративные РусГидро — СТО 70238424, РД 153, ГОСТ Р 55563, МУ ГЭС, РЭ SpaceVM
КИИ: 187-ФЗ, ФСТЭК 235/239, RUCSF, Kaspersky 2026 — сегментация, DMZ, AAA, SIEM

6.

Политика РусГидро — усиление позиции v2.1 (из ТТ и регламента)
Сегментация на зоны (тех. контур/серверы/админ), минимизация сквозных маршрутов — v2: ACL-матрица «только нужные направления/порты» как артефакт, v1:
SCADA в 20 зонах одновременно [СТО п.5.5, ФСТЭК 239, RUCSF 12.2]
Периметр, граница, DMZ для внешних сервисов — v2: четкая граница — пара ядер MDA, DMZ АРМ 301 и ОСО 401/402 через RedBox/FW stateful [ФСТЭК 239]
AAA, актуальность ПО, безопасные протоколы, схемы архитектуры — v2: AAA на 2 точках, git, diff-ревью, раздельная прошивка A→B, SSH/802.1X [RUCSF
12.1/12.5/12.6]
Мониторинг трафика + аудит, IDS/IPS, SIEM — v2: зеркалирование обеих LAN A/B, NMT через RedBox, node table, cntWrongLanA/B, ACL hit-counts → SIEM [ФСТЭК 239,
СТО черный ящик]
Доверенные каналы, подлинность соединений, защита передачи — v2: L3 с проверкой, PTPv2 hw timestamp, QoS SV/GOOSE для СОЕВ 1мс [ФСТЭК 239, СТО п.5.3.2]
Автономность и кольцевой архив 24ч — v2: SpaceNode кэш 24ч (ГОСТ Р 55563 п.5.7) + автономная САУ п.5.2.2 — при потере ядер пишет локально
Отказоустойчивость ЛВС к компонентам, раздельное питание и трассы — v2: питание от разных СОПТ + ИБП, трассы A/B, ЩСН А/В [СТО п.5.5, IEC 62439-3]
Таблица 2.5 в Word — 10 строк соответствия политике РусГидро / КИИ

7.

Доказательная база A1-A4: PRP и RedBox
A1 LAN A/B fail-independent — обязательно. v1: общий узел = общая точка, петля, шторм поражает обе. v2: нет L2 между ядрами. Интернет: keep LANs separate, star
topology one bridge per LAN, common mode failures if wiring close [Kirrmann, Schneider, TI, VitalVAS]
A2 Программный PRP проигрывает: Lindner 2026 — Linux PRP 0.84% потерь на 1400Б/800Мбит/с, аппаратный RedBox 0. v1 — в ОС с ВМ, v2 — ASIC [5]
A3 RedBox — зона одиночного отказа (ODVA). СТО 302: RedBox = пром. коммутатор. v1: сервер+ОС = низкая MTBF, зона = весь сегмент+кластер. v2: отдельные
АРМ/ОСО — зона = SAN-сегмент [8][17]
A4 0 мс — суть PRP. RSTP 7.69мс → 35 SV потеряно, Trip 16→364мс. Латентность PRP 391мкс. v1: программный мост в пути = ненулевое восстановление. v2: чистый L2
на ядрах [6][7]

8.

Доказательная база A5-A10 + TCO
A5 CPU: kernel-OVS 1.2 Mpps @100% vs ASIC 19k Mpps; 1 правило в Linux bridge = обрушение. 10G мелких =14.88 Mpps — софт не гарантирует. v2 — CPU под ВМ
[11][12][13]
A6 VLAN не масштабируется: VID 4094 тупик, индустрия → leaf-spine fabric, routed access, EVPN-VXLAN [14][NetPilot, IP With Ease, Cisco]. v1 260+ port-VLAN, v2 11 SVI
на 2 устр.
A7 Домены отказа: Tier IV/Rated-3/4 — отказ ≠ останов, concurrently maintainable. v1: сервер=вычисления+сеть=ЕТО. v2: отказ сервера ≠ отказ сети, отказ ядра A —
трафик по B (0мс). TIA-942: redundant MDA, diversely routed, operation continues if MDA fails [Anyflip]
A8 Эксплуатация: NMT через RedBox, уникальные IP в LAN A/B, node table, cntWrongLanA/B. v2 — зеркалирование обеих LAN, QoS/ACL/storm центр.; v1 — на каждом
узле
A9 TCO: PRP не лимитирует узлы, резерв 10-15% на ядре. v1 O(N×M), v2 O(1). Выше CAPEX, ниже OPEX 5 лет
A10 Отраслевая модель: сервер = DAN, RedBox = коммутатор [СТО 266, 302]

9.

Усиление A11-A12 и доп. аргументы v2.1
A11 Broadcast: 1 VLAN=1 домен. 50 устр. ≈70 bcast/мин, 20 VLAN ≈1400/мин (23/с) — 2-3% CPU штат, 100% шторм. «21-й VLAN — последняя капля». v1: SCADA член 20
VLAN → получает весь broadcast. v2: маршрутизация не пропускает, шторм локализован, storm-control на ядре
A12 Безопасность L2 vs L3: v1 единая L2 → ARP-спуфинг, MAC-flooding, DHCP-спуфинг. v2: ACL-матрица SCADA→ПЛК:502 + FW stateful + логи. Работает на 187ФЗ/ФСТЭК 235/239. Интернет: ФСТЭК 239 — периметр, сегментация, DMZ, управление потоками, мониторинг, IDS/IPS, доверенные каналы [IC-Tech, Infra-Tech, RUCSF]
Доп: Импортозамещение — РусГидро >50 объектов SpaceVM >1000 лицензий (CNews 2024), SpaceVM 6.5 SDN Flow L2 VxLAN/L3 BGP/NAT/ACL/Floating IP —
рекомендованный путь, один bond0 = дорожная карта, много 1G = legacy 5.x
PUE: вынос с CPU 1.2 Mpps на ASIC 19k → -2-3% CPU штат / -100% шторм → улучшение PUE [ISO 30134, СТО п.5.6]
EVPN-VXLAN future-proof: 4094 VID vs 16M VNI, MAC-in-UDP, ECMP, native multi-tenancy [IP With Ease, Cisco, NetPilot] — ГОСТ Р 55563 п.5.1.6 модернизация
СОЕВ/NTP: v1 vlan70 172.20.7.0/24 через те же virt-коммутаторы что и backup без QoS. v2 — QoS SV/GOOSE + PTPv2 hw timestamp для 1мс по СТО п.5.3.2

10.

Сводная таблица и вывод
Т1-Т7: отказы LAN A/B, ядра A/B, SpaceNode, rolling-обновление, прошивка A→B,
нагрузка PRP, аудит конфигов, доступность, Conformance PRP, broadcast шторм, ACL,
политика РусГидро (сегментация, DMZ, AAA, мониторинг, доверенные каналы)
Вывод: v2 — отраслевая модель (ядро A/B=PRP LAN, сервер=DAN, RedBox отдельные),
соответствует IEC 62439-3, IEC 61850, СТО ФСК 302/266, TIA-942 hierarchical star, Tier
III/IV, 187-ФЗ/ФСТЭК 239, СТО РусГидро п.5.5, п.5.2.2.1 ТЭО вариантов, п.5.7 архив 24ч,
п.5.3.1 раздельное размещение, п.5.3.2 СОЕВ 1мс, политике КИИ (сегментация,
периметр, DMZ, AAA, SIEM, доверенные каналы)
Интернет-источники (TIA-942, spine-leaf, VLAN vs VXLAN, PRP fail-independence, КИИ)
однозначно поддерживают v2 как современный стандарт
Рекомендация: в РД оставить оба варианта с ТЭО по СТО 70238424 п.5.2.2.1 — v1
усиленная (меньше CAPEX) и v2.1 (меньше OPEX, PUE, EVPN-ready). К промэксплуатации
— v2.1
Критерий
v1 многоядерная
v2 одноядерная
Роли IEC/СТО
сервер=RedBox противоречит
ядро A/B=LAN A/B, RedBox
отдельные
LAN A/B
нарушена
соблюдена (только L3)
Время восст.
0 мс PRP, но Н/Д при отказе узла
0 мс PRP, отказ сервера не влияет
Коммутация
программная CPU
аппаратная ASIC
VLAN
сотни конфигов
1 bond, 2 точки
Broadcast
20 доменов 1400/мин 100% CPU
шторм
1 домен, шторм локализован
КИИ/РусГидро
единая L2, нет
ACL/DMZ/AAA/SIEM
ACL+FW+DMZ+AAA+SIEM соотв.
ФСТЭК 239, СТО п.5.5
СКС/TIA-942
N×M макароны, нарушает star
звезда TIA-942, MDA→HDA, A/B
трассы
Масштаб/EVPN
правка всех узлов, лимит 4094
конфиг ядра+кабель, 16M VNI
ready
TCO 5 лет
выше OPEX
ниже
PUE
хуже
лучше