Выбор железа

[antihrist2002]

я так понимаю что все это справедливо только для никсов - так как на винде даже при наличии у обоих компов быстрых рейдов и по паре серверовых интеловских сетевух скорость больше гигабита не выходит. только при подключении точка-многоточка поднимается до 140-160мбайт

На никсах хорошо тем что можно втыкать любые сетевухи в бонд:100+100, 1000+1000, 100+100+100, 1000+100+100, например. Подходит любой свич.

В винде агрегация называется nic teaming, но я не смог настроить на своем железе. По мануалам для винды читал что нужно 2 одинаковых интеловских сетевухи, Windows Server, и управляемый свич с поддержкой 802.3ad. Нафиг такое счастье.

 

У себя использую round-robin в основном когда у сервера есть запас по скорости, а сетка в офисе 100Мегабит. Менять на гигабит нет смысла т.к. десктопы 100Мб. Тогда в сервер втыкается еще 2 100Мб сетевухи по 150р. И тогда получается: было 100Мб на 15 клиентов, а стало 300Мб на 15 клиентов. Хотя по факту все 15 одновременно не качают и получается для одного взятого клиента в среднем скорость с 40мегабит/с вырастает до 65.

[Bob the Builder]

В винде агрегация называется nic teaming, но я не смог настроить на своем железе. По мануалам для винды читал что нужно 2 одинаковых интеловских сетевухи, Windows Server, и управляемый свич с поддержкой 802.3ad. Нафиг такое счастье.

 

Windows Server, и управляемый свич с поддержкой 802.3ad не обязателены: http://board.sybdata.com/sc/viewtopic.php?f=2&t=8

[antihrist2002]

802.3ad не обязателен: http://board.sybdata.com/sc/viewtopic.php?f=2&t=8

ну, да. просто нужно 2 ОДИНАКОВЫХ сетевухи от 2000р. Gigabit CT Desktop Adapter

 

И нет поддержки round-robin.

(AFT) отказоустойчивость адаптеров

Switch Fault Tolerance (SFT)

Адаптивная балансировки (ALB)(Только основной адаптер получает входящий трафик. / Мультивещания и протоколы без маршрутизации передаются только через главный адаптер в группе)

 

Прием (RLB) балансировки нагрузки (поддерживая прием через 2-8 портов с разных адресов.

Может использоваться только совместно с ALB.)

 

Я это все читал. Оно не настраивается. Нужно скачивать/ставить другие драйвера, спец прогу для управления этими драйверами. После объединения в Центре управления сетями и общим доступом в винде то ли пропадают две карты и появляется одна, то ли третья появляется, но трафик идет только через одну... кароче не заработало оно у меня ни разу.

Сними видео с настройкой и работой я с удовольствием научусь.

[demon_sl]

Было бы всё так просто. Во всей цепочки есть узкие места:

Сеть:

Оптика 1Гб и 1Гб медь, - быстрее оптика, меньше искажений и немного другой стандарт (одно мод полнодуплексный, даже по одной жиле) а дальше сами sfp модули и производительность порта ! (Не коммутатора) 3000 Пакетов/с обычно. Так же от сетевой карты зависит, в том числе как сильно она 'шумит', то, что винда покажет что 1Гб/с это но чего не значит. Если дальше углубляться то оптимизируют еще саму сетевую подсистему на Linux. Ну есть такие которых дефолтные настройки не устраивают, в чем то они правы но под какие цели опять же. Для простого увеличения производительности можно использовать jumbo frame но поддержка таких кадров должна быть как у коммутатора так и у сетевых карт. А по поводу агрегирования, то больше 4х не рекомендуется стандартом. Для увеличения пропускной способности нужны одинаковые или по 100 или по 1000, все остальное для балансировки.

[antihrist2002]

Было бы всё так просто. Во всей цепочки есть узкие места:

Сеть:

Оптика 1Гб и 1Гб медь, - быстрее оптика, меньше искажений и немного другой стандарт (одно мод полнодуплексный, даже по одной жиле) а дальше сами sfp модули и производительность порта ! (Не коммутатора) 3000 Пакетов/с обычно. Так же от сетевой карты зависит, в том числе как сильно она 'шумит', то, что винда покажет что 1Гб/с это но чего не значит. Если дальше углубляться то оптимизируют еще саму сетевую подсистему на Linux. Ну есть такие которых дефолтные настройки не устраивают, в чем то они правы но под какие цели опять же. Для простого увеличения производительности можно использовать jumbo frame но поддержка таких кадров должна быть как у коммутатора так и у сетевых карт. А по поводу агрегирования, то больше 4х не рекомендуется стандартом. Для увеличения пропускной способности нужны одинаковые или по 100 или по 1000, все остальное для балансировки.

 

Начну с конца.

100+1000 в round-robin работают отлично. jumbo frame работает только при гигабитных линках.

Как "шумит" сетевая карта мне не понятно. Есть старые гигабитные сетевухи которые жмут только 400-600 мегабит, но у них просто проц слабый. То что винда показывает гигабит - да, не говорит не о чем. Копирование файла в Far или Total Cammander со скоростью 95-102 Мегабайта/сек говорит обо всем остальном. В случае агрегации 195 Мегабайт/сек.

Производительность порта в 3000 пакетов/сек это сильно! какой размер пакета? при виндовом пакете 1500 байт - это 4,5 мегабайта/сек...

Если это jumbo frame 9000 байт - то 27 мегабайт/сек. какой-то странный гигабит у тебя.

Оптика отличается от меди только физикой. Оптика может быть длиной несколько километров. На оптику не влияют электромагнитные волны. Все. Не надо приписывать оптике чудесных свойств. У оптики одно преимущество перед медью - ее длина.

 

При гигабитных линках узкое место обычно это диски на сервере.

[Bob the Builder]

Сними видео с настройкой и работой я с удовольствием научусь.

купи мне 2 сетевухи

 

просто нужно 2 ОДИНАКОВЫХ сетевухи

тоже необязательно! подойдут любые в паре с Intel nic

При создании группы на поддерживаемый адаптер, порты на неподдерживаемые адаптеры могут отображаться в мастере объединения Intel® PROSet. Любой порт, который отображается в мастере объединения Intel® PROSet могут быть включены в группы, включая старые адаптеры Intel и других производителей.

[demon_sl]

Что то малость погорячился, прошу прощения, но rr работает только напрямую с картами, точнее настоятельно рекомендуется, иначе может сильно просадить стек. По принципу склеивания сначала грузит один потом второй и тд.:

his comes at a cost, however: the striping generally results in peer systems receiving packets out of order, causing TCP/IP's congestion control system to kick in, often by retransmitting segments.

Подробнее тут http://www.mjmwired.net/kernel/Document ... onding.txt

Поддержки со стороны оборудования не нужно.

Но у других свои недостатки.

Edited October 6, 2015 by Guest

[demon_sl]

Ну и на небольших расстояния разницы не будет как вы правильно сказали почти нет разницы. С 30м начинаются ошибки, если кабель хороший из чистой меди и сечением стандарта awg24 то до 60-70 проблем не будет. Для rr лучше не большие расстояния и через повторители не гнать.

Edited October 6, 2015 by Guest

[-iliya-]

demon_sl, я уже писал ранее в теме SS про свои эксперименты.

Но к сожалению добиться скорости более 1гиг при копировании комп-свитч-комп не смог

даже используя win server 2008 - и используя 2х портовые интеловские сетевухи в тиминге с агрегацией каналов и на самом свитче тоже.

[Bob the Builder]

комп-свитч-комп

 

комп-свитч-комп+комп+комп+...

[demon_sl]

На винде lacp не поднимал, но читал что нужны драйвера другие так как тайминги не все поддерживаются. У меня работают только на свитчах. Динамическая

[SergeS]

Если скорость передачи упрется в скорость дисков - это будет видно в: Мониторинг ресурсов -> Диск (утилизация больше 90%)

Естественно скорость нужно проверять на больших файлах (например фильмах).

Проверить внутреннюю скорость массива можно подключившись по SSH.

 

Да, возможно тут у меня проблема, проверил - больше примерно 170 МБ/S скорость чтения из массива не поднимается

Железка - N54L в штатной конфигурации (кроме хардов и сетевухи) и с дефолтными настройками сетапа,

харды довольно старые Самсунги в SHR (raid5): http://sergeskor.no-ip.org/Files/Tech/nas_disks.png

Ну и про сетевуху я писал - четырехпортовая Intell.

Будем разбиратся, может в сетапе чего не так, харды менять только из-за этого не буду...

 

Если вы делаете bonding через веб интерфейс синолоджи, то это бонд для отказоустойчивости. Защита от повреждения кабеля или выхода из строя порта/коммутатора.

Для кратного увеличения пропускной способности нужно использовать режим Round-robin.

 

Вот это я не понял, можно поподробнее? В DSM, когда bond создаешь, там есть кажется четыре варианта, три из них (adaptive, IEEE 802.3ad LACP и Balance XOR) - таки именно с обещанным увеличением пропускной способности, и четвертый (Active/Standby) - для отказоустойчивости... Вы хотите сказать, что из всех четырех видов бонда в DSM работает только именно этот четвертый? А вы точно ничего не путаете? Вроде было много шума, что на каких-то там версиях DSM adaptive bond не работал, но вроде начиная с какой-то там 5.1-хххх это поправили, может вы об этом? У меня DSM 5.2-5565, уже вроде должно быть все исправлено...

 

Ну и особо непонятна вот эта фраза:

Нас интересует mode=4. Для увеличения пропускной способности нужно сделать mode=0 и перезагрузится.

Edited October 7, 2015 by Guest

[SergeS]

На винде lacp не поднимал, но читал что нужны драйвера другие так как тайминги не все поддерживаются. У меня работают только на свитчах. Динамическая

 

Да, нужны драйвера от Интелл, причем (у меня на Win 8.1) тут была заковыка, драйвера от интела не хотели ставится, говорили что мол железа от Интела не найдено .

Гугл помог найти рецепт - нужно сначала обновить родные виндовые драйвера просто из Device Manager, после чего уже Интеловские ставятся без проблем.

[antihrist2002]

Ну и особо непонятна вот эта фраза:

Нас интересует mode=4. Для увеличения пропускной способности нужно сделать mode=0 и перезагрузится.

Я рад, что дискуссия повернула в конструктивное русло.

Последний раз тестировал агрегацию в DSM 5.0-4528 update 2.

Сейчас нет под рукой таких дисков, чтоб получить 200 мегабайт/сек. Собрал тестовый конфиг с загрузчиком XPEnoboot_DS3615xs_5.2-5592.2

и DSM 5.2-5592 update 4. 2 сетевухи реалтек по 100 мегабит и жестяк сигейт на 250Гб.

Протестирую и отпишусь.

[antihrist2002]

Вот и первые результаты:

Адаптивное распределение нагрузки - качает только через одну сетевуху. В /etc/sysconfig/network-scripts/ifcfg-bond0 ставит mode=6.

IEEE 802ad Dynamic Link Aggregation - протестировать не могу, нет коммутатора с поддержкой этой фичи.

 

Продолжаю:

Распределение XOR - качает только через одну сетевуху. В /etc/sysconfig/network-scripts/ifcfg-bond0 ставит mode=2.

Активно/режим ожидания - качает только через одну сетевуху. В /etc/sysconfig/network-scripts/ifcfg-bond0 ставит mode=1. (как и ожидалось)

[antihrist2002]

Вот и финал:

При установке В /etc/sysconfig/network-scripts/ifcfg-bond0 mode=0, качает через обе сетевухи.

[antihrist2002]

Разгоняем сеть!

1. Подключаем нужное количество сетевых карт. Втыкаем шнурки в коммутатор.

2. Заходим в DSM -> Панель управления. В правом верхнем углу переключаем в Расширенный режим.

3. Заходим Терминал и SNMP. Включаем службу SSH.

4. Слева ищем Сеть, заходим, переключаем на Сетевой интерфейс ->Создать -> Создать Bond. Выбираем сетевые карты которые не жалко

Режим Бонд - адаптивное распределение нагрузки. Ждем. Через Synology Assistant смотрим новый IP DSM если выбрали все карты(не заходит по старому адресу).

5. Заходим в Центр Пакетов. Настройки(вкладка основное), внизу - уровень доверия. Переключаем на Любой разработчик. Переключаем на вкладку источник пакетов, Добавить -> Название: SynoCommunity, Расположение: http://packages.synocommunity.com. В левом столбце появляется строчка Сообщество. Жмем, ищем Midnight Commander, устанавливаем.

6. Качаем PuTTY. Запускаем. Вводим IP-адрес DSM.

Переключаем Translation в UTF-8.

Жмем открыть. Пишет много букв. Жмем - Да.

7. Логин: root. Пароль: пароль от вашей учетки админа. (при вводе нет звездочек. набрали пароль вслепую - нажали enter)

8. Набрали mc и нажали enter. (Norton Commander, ностальгия)

9. Курсор стоит на /.. нажать enter, пролистать вверх до /etc -> enter. Таким же образом идем в sysconfig, потом network-scripts. Видим там ifcfg-bond0. Ставим курсор на ifcfg-bond0 и жмем F4. Получаем:

DEVICE=bond0
BOOTPROTO=dhcp
ONBOOT=yes
BONDING_OPTS="mode=6 use_carrier=1 miimon=100 updelay=100"
USERCTL=no

mode=6 меняем на mode=0, жмем F2, подтверждаем сохранение. Закрываем PuTTY. Перезагружаем DSM (желательно через веб интерфейс)

10. Радуемся. Придумываем как на Windows настроить агрегацию и получить себе 2 гигабита.

[-iliya-]

А можно гораздо проще - отредактировать файл ifcfg-bond0 в winscp как простой текстовый

Этому удобнее чем через телнет или путти редактировать конфиг в командной строке

[antihrist2002]

А можно гораздо проще - отредактировать файл ifcfg-bond0 в winscp как простой текстовый

эта утилита меня стороной обошла. Заценил, достаточно удобная штука.

[Bob the Builder]

Вот и финал:

При установке В /etc/sysconfig/network-scripts/ifcfg-bond0 mode=0, качает через обе сетевухи.

 

неплохое решение активировать mode=0 (balance-rr), которое(balance-rr) сино почему то посчитало не нужным добавить в настройки сети

 

а можно тогда ещё и такой же скрин только в mode=6

чтобы как говорится воочию посмотреть реальную разницу между:

"качает через обе сетевухи" и "качает только через одну сетевуху"

 

а то знаети ли в настройках тоже отображается

а реальный трансфер показывает другое(я в курсе что до 1,0 GBit/s)

[antihrist2002]

а можно тогда ещё и такой же скрин только в mode=6

чтобы как говорится воочию посмотреть реальную разницу между:

"качает через обе сетевухи" и "качает только через одну сетевуху"

На скриншотах не понять - запилил видео:

Edited October 11, 2015 by Guest

[igormax82]

Круто!!! Все понятно! А если я поставлю вторую сетевую и сделаю bond 0 WOL будет работать? Какой мак адрес будет или можно прописать самому? Или магический пакет можно послать на любую карту и сервер включится? Функция WOL очень нужна.

[antihrist2002]

Круто!!! Все понятно! А если я поставлю вторую сетевую и сделаю bond 0 WOL будет работать? Какой мак адрес будет или можно прописать самому? Или магический пакет можно послать на любую карту и сервер включится? Функция WOL очень нужна.

У меня сервера включены всегда. WOL на синолоджи не включал ни разу

Можно послать магический пакет на встроенную сетевуху и посмотреть что будет. Если будить сервер PCI\PCI-e сетевухой 90% что он не проснется.

На этом тестовом стенде интегрированная сетевая горелая. Не смогу проверить.

[igormax82]

Круто!!! Все понятно! А если я поставлю вторую сетевую и сделаю bond 0 WOL будет работать? Какой мак адрес будет или можно прописать самому? Или магический пакет можно послать на любую карту и сервер включится? Функция WOL очень нужна.

У меня сервера включены всегда. WOL на синолоджи не включал ни разу

Можно послать магический пакет на встроенную сетевуху и посмотреть что будет. Если будить сервер PCI\PCI-e сетевухой 90% что он не проснется.

На этом тестовом стенде интегрированная сетевая горелая. Не смогу проверить.

 

Завтра на работе сниму одну сетевую и проверю. На встроенной сетевухе просыпается отлично

[Bob the Builder]

На скриншотах не понять - запилил видео:

 

Спасибо за тест! я просто снимаю шляпу по этому поводу!

 

кстати если что видео можно писать c помощью Screen Recorder, вот например недавно записал

 

если не против то я бы прикрепил ваше видео к теме Link Aggregation в DSM 5.2