10G сетевые карты

[-iliya-]

Предлагаю делиться опытом совместимости сетевых карт на 10Gb

у меня есть такие:

- Mellanox ConnectX-2 - в принципе работает отлично, драйвера из коробки завелись, сейчас оставил в двух NAS именно эти

- HP NC550SFP - двух портовая, работает, но были странности. В какой то момент NAS просто исчезал из сети, по логам все работало и зависа не было

перезагрузка устраняла проблему до следующего пропадания( от пары дней до недели работы). Так и не понял в чем дело.

- Intel x520-DA1 - пока не пробовал, но такие карты стоят в PC компах которые соединены в сеть с NASами

Одну Intel перешил и теперь она полноценно заводится в MacOS

по скоростям между NAS получил почти полные 10Gb

Скрытый текст

[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  1.04 GBytes  8.93 Gbits/sec    0   2.78 MBytes
[  5]   1.00-2.00   sec  1.09 GBytes  9.38 Gbits/sec    0   2.83 MBytes
[  5]   2.00-3.00   sec  1.09 GBytes  9.37 Gbits/sec    0   2.86 MBytes
[  5]   3.00-4.00   sec  1.09 GBytes  9.38 Gbits/sec    0   2.87 MBytes
[  5]   4.00-5.00   sec  1.09 GBytes  9.37 Gbits/sec    0   2.96 MBytes
[  5]   5.00-6.00   sec  1.09 GBytes  9.37 Gbits/sec    0   2.96 MBytes
[  5]   6.00-7.00   sec  1.09 GBytes  9.37 Gbits/sec    0   2.97 MBytes
[  5]   7.00-8.00   sec  1.09 GBytes  9.37 Gbits/sec    0   2.97 MBytes
[  5]   8.00-9.00   sec  1.09 GBytes  9.37 Gbits/sec    0   2.97 MBytes
[  5]   9.00-10.00  sec  1.09 GBytes  9.37 Gbits/sec    0   2.97 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  10.9 GBytes  9.33 Gbits/sec    0             sender
[  5]   0.00-10.03  sec  10.9 GBytes  9.30 Gbits/sec                  receiver

такая же картина между NAS и MacOS

а вот между Win и NAS - пониже

Скрытый текст

[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec   308 MBytes  2.59 Gbits/sec
[  4]   1.00-2.00   sec   712 MBytes  5.96 Gbits/sec
[  4]   2.00-3.00   sec   785 MBytes  6.61 Gbits/sec
[  4]   3.00-4.00   sec   815 MBytes  6.83 Gbits/sec
[  4]   4.00-5.00   sec   818 MBytes  6.87 Gbits/sec
[  4]   5.00-6.00   sec   819 MBytes  6.87 Gbits/sec
[  4]   6.00-7.00   sec   817 MBytes  6.86 Gbits/sec
[  4]   7.00-8.00   sec   345 MBytes  2.90 Gbits/sec
[  4]   8.00-9.00   sec   817 MBytes  6.85 Gbits/sec
[  4]   9.00-10.00  sec   288 MBytes  2.42 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-10.00  sec  6.37 GBytes  5.47 Gbits/sec                  sender
[  4]   0.00-10.00  sec  6.37 GBytes  5.47 Gbits/sec                  receiver

Скрытый текст

[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec   925 MBytes  7.76 Gbits/sec
[  4]   1.00-2.00   sec   925 MBytes  7.76 Gbits/sec
[  4]   2.00-3.00   sec   918 MBytes  7.70 Gbits/sec
[  4]   3.00-4.00   sec   927 MBytes  7.78 Gbits/sec
[  4]   4.00-5.00   sec   926 MBytes  7.77 Gbits/sec
[  4]   5.00-6.00   sec   926 MBytes  7.76 Gbits/sec
[  4]   6.00-7.00   sec   925 MBytes  7.76 Gbits/sec
[  4]   7.00-8.00   sec   925 MBytes  7.76 Gbits/sec
[  4]   8.00-9.00   sec   925 MBytes  7.76 Gbits/sec
[  4]   9.00-10.00  sec   922 MBytes  7.74 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  9.03 GBytes  7.75 Gbits/sec    0             sender
[  4]   0.00-10.00  sec  9.03 GBytes  7.75 Gbits/sec                  receiver

 

 

[XPEH]

На PC очевидно недостаточно быстрая дисковая подсистема и шина.

[-iliya-]

2 часа назад, XPEH сказал:

На PC очевидно недостаточно быстрая дисковая подсистема и шина.

Не. Не в этом дело а  дровах или самой винде.

1 PC на базе i7- 6950 и 96гб ram - там шин хватает 40 линий на нем же стоит хакинтош и в нем скорость по полная.

2 PC на Xeon 2678  см то же 40 линий

ну и iperf при тестировании скорости ни как не использует диски 

[XPEH]

Типичная системная шина 6Гбс, 9Гбс или 12Гбс. Последние чаще встречаются на серверных платформах. Скорость между диском и сетевой картой ограничена пропускной способностью шины (PCI-PCIx).

Также скорость дисков. SATA SSD = 550MBps - на одном диске без быстрого рейда слишком не разгонишься. Если только не поставить Nvme m.2

Короткие тесты с небольшим 1-2ГБ файлом не очень показательны, поскольку даже на полную скорость сеть не успевает выйти. Более показательны большие объемы перекачки, как при резервировании. Там, при объеме файлов больше 100ГБ можно более менее судить о производительности всей системы.

Самое большeе что мне удавалось добиться на 12 дисковой оригинальной Synology (RS34xxPR) с 10Gbps портами и серверами (9Gbps) RAID на 8х15К SAS дисками это в районе 850-880МБс при резервировании нескольких терабайтов. Подключение через NFS.

На другом NAS DELL/EMC (Compellent) с 12 SSD SAS - примерно тот-же результат.Все сетевые карты использовались Intel (если правильно помню 540 серии)

Эти системы не сравнимы с компами даже в навороченной конфигурации, так-что ваши результаты довольно неплохие.

[-iliya-]

11 час назад, XPEH сказал:

Типичная системная шина 6Гбс, 9Гбс или 12Гбс

ну как бы совсем не так

PCI-E 3.0 кои как раз у меня используются пропускают 8 ГТ/с -по одной линии.

Итого для PCI-E 3.0 x8 получаем 7,88 Гбайт/с  или 63Гбит\с - то есть можно спокойно создавать сеть на Infiniband 40Гбит а если ставить в слот x16
 то и все 100Гбит. - но это совсем не для дома расходы. Мне Switch 10Gb на 8 портов SFP соил 17тр + по 3тр за карту

Скрытый текст

Например, пропускная способность линии PCIe 1.0 составляет:

2,5 ГТ/с · 8/10 бит/Т = 2 Гбит/с = 2·109 бит/c = 250 МБайт/c

SSD и прочее не имеет к пропускной способности сети  отношение. Так как в случае прокачки через iperf они не задействуются.

11 час назад, XPEH сказал:

Самое большeе что мне удавалось добиться на 12 дисковой оригинальной Synology (RS34xxPR) с 10Gbps портами и серверами (9Gbps) RAID на 8х15К SAS дисками это в районе 850-880МБс при резервировании нескольких терабайтов. Подключение через NFS

Хе - у меня самые обычные десктопные Toshiba по 2Тб - 12шт Raid5 по тестам DiscSpeed легко выдают по сети 850 и  980мбайт\с соответственно.

Да даже NAS на базе Gen8 и 5 тошибок по 4Тб в RAID5 выдают скорость около 600-650мбайт

11 час назад, XPEH сказал:

На другом NAS DELL/EMC (Compellent) с 12 SSD SAS - примерно тот-же результат.Все сетевые карты использовались Intel (если правильно помню 540 серии)

Эти системы не сравнимы с компами даже в навороченной конфигурации, так-что ваши результаты довольно неплохие.

да ладно - чем же они не сравнимы - PCI шины и количество линий от навороченности сервера ничем не отличается

на работе сервер на Supermicro и паре Xeon-26xx так домашний на 6950 их в видеоредакторах уделывает.

Нет никакой мистической серверной производительности - в большинстве задач десктопные будут на голову производительнее при той же цене.

Но серверные можно поставить 2 в один сервер и получить 80PCI линий а с новыми Silver Gold процами 96Линий.

 

Я же говорю что на том же самом железе у меня стоит MacOS  и на той же самой сетевухе в iperf по тесту именно между сетью компа и NAS я получаю большую пропускную способность. Речь именно о сети, а не дисковой подсистеме. Кстати скорость на Intel x520 удалось поднять за счет установки Interrupt Moderation Rate в Low и наче выше 4-5Гбит не разгонялась. При чем NC550SFP - с ходу давал на базовых настройках в Win10 7.8-8.5Гбит\с

11 час назад, XPEH сказал:

Там, при объеме файлов больше 100ГБ можно более менее судить о производительности всей системы

Собственно у меня это средний размер файла с которыми я работаю - а так 130-200Гб и последнее частенько по 500-700Гб, есть файлы и по 980Гб.

Но я собирал NAS как раз для быстрой сетевой работы что бы отказаться от локального хранилища по многим причинам:

1. совместная работа с нескольких компов - на одном создал задание и отправил на просчет на второй, а первый освободил.

2. BTRFS удобна симлинками - скопировал файл и он не повторно копируется и создается симлинк, NTFS так же умеет, но не по сети и не встроенными средствами.

3. Могу создать файл и на хренологии его сразу расшарить во вне через файлообмен, ftp, torrent и тд, не держа основной комп включенным.

 

[-iliya-]

У меня на работе есть DS1815+ + DX513 так там даже при наличии 4х 1Гб сетевух не удается и одну прокачать с 13 хардов, при этом самосбор выдает легко хорошую скорость на 2-3 раз меньшем количестве дисков  - дело в поце который сино использует для софтового рейда. И все эти атомы Селероны и начальные xeon и тд в настоящих сино не могут полностью использовать скорости современных HDD

[XPEH]

Я не хочу с Вами спорить, да и отвечать мне не обязательно, но задумайтесь над некоторыми вещами из опыта практического применения без легкомысленного отметания:

1. Много ли пользы в искусственных тестах отдельных компонентов системы по сравнению с реальным использованием в рабочей обстановке?

2. Современные компы, особенно в игровых конфигурациях или в конфигурации мощной рабочей станции действительно не уступают в скорости сравнимым по классу серверам, но как надолго? " Мистическая" серверная производительность заключается не в кратковременных задачах при запуске теста или редактировании фильма на несколько часов работы, а в способности безотказно выдерживать такой режим работы круглосуточно в течении долгого времени? Сравнение личного автомобиля (семейного, спортивного, внедорожника на ваш выбор) и тяжелого магистрального тягача, наматывающего сотни тысяч километров на одометре и перевозящем при это многие тонны груза)

3. Жесткие Диски для десктопов быстрые и недорогие, но в сервере работают недолго. Кроме того, ошибки чтения приводят к временному ступору. Диски для серверов обрабатывают такие ошибки и восстанавливаются намного быстрее, работают в тяжелых режимах намного дольше хотя и стоят изначально дороже.

4. Попытки тестировать пропускную способность бонда из 4 сетевых карт, упирается в пропускную способность одного канала. Чтобы увидеть на вашем DS1815+ скорость выше 1 Гигабита/с нужно одновременно (параллельно) грузить его задачами с 4 или больше РАЗНЫХ компов. Вполне приличная скорость даже с более медленными Красными WD дисками. Полные 4Гбс вы конечно не увидите, но больше 3Гбс вполне вероятно.

5. "все эти атомы Селероны и начальные xeon и тд в настоящих сино" вполне справляются с изначально поставленной задачей по управлению файлами и дисками. Их слабые стороны начинают проявляться, когда NAS пытаются загрузить доп. задачами по виртуализации, перекодированию фильмов и кучи других прибамбасов. Для дома такая универсальность удобна, но далеко не оптимальна если пытаться выжать максимальную сетевую скорость. Просто разные задачи и разумные компромиссы. Попытки самосбора сино на более мощном железе как раз для компенсации дополнительной нагрузки и снижения цены системы.

 

[-iliya-]

XPEH, в принципе опыт у меня есть и не только с десктопными, но и с серверными платформами. На работе я собирал 3 сервера на Supermicro и отличия в высоконагруженных задача прекрасно понимаю. Но все что я описывал это собрано дома не для Enterprice или Datacenter решений.

В спорах рождается истина.

1. польза есть как минимум для выявления слабого места - как я уже писал Комп 1 у меня на базе i7-6950 - на нем стоят 2 системы Win10Pro и MacOS HighSierra

так вот синтетический тест и показывает что на винде сеть просела. А фактический тест это подтверждает. Для моих задач тест iperf более показателен, так как нет у меня на Комп1 локального массива и нет задачи переливать с NAS на локальный массив и обратно. Мне именно работать надо прямо с NAS.

2. Долго - реально долго, на работе десктопные системы работают годами не выключаясь - да просчеты не 24/7, но были моменты когда комп просчитывал фильм несколько недель  без перерыва. Ну и самое главное что 6950 это делал быстрее чем пара 2640. По этому и получается что продуктивнее в моем случае было использовать i7 чем xeon так как первый быстрее просчитал и пошел отдыхать, а второй бы еще работал.

3.  У меня 3 сервера 24, 24, 16 дисков на работе и в каждом используются десктопные диски которые работают уже лет 6 если не больше. Да были сыплющиеся диски, но единицы. И по факту мне было намного дешевле купить +3 диска в шкаф под замену  чем все серверные. А вот в 1815+ стоят серверные диски - и уже 4 из 13 заменил - начали сыпаться, последний диск на 2005 бедов.

4,5. да я все это знаю и тестировал скорость бонда разными методами и LACP с поддержкой на управляемом свитче HP и с другой стороны сервер с nic Teaming и с копированием больших файлов с 1815+ на 2-3 компа и без бонда  когда каждый комп подключался к своему ip из 4х на 1815+ Результат  был плачевный, дошлое железо 1815+ просто не вытягивало возможностей дисков. Оставили nas под мелкие доки и не часто используемые файлы с бекапами.

 

Ну а так то я тему поднимал для поиска оптимальных и без проблемных сетевых карт для Хренологии.

 

[sergeydolzhnicov]

День добрый!

есть хренолоджи DSM 6.0.2-8451

встроенные гигабитные порты работают без проблем

установил сетевую карту Intel X520-2

хренолоджи ее увидела без проблем, видит состояние карты (подключена или отключена)

но пинги не ходят (

маки в grub.cfg прописал, порты (на свитче и на карте) менял, модули sfp менял, патч-корды тоже

 

подскажите куда можно посмотреть?

 

[XPEH]

А сеть на этих картах настроена? IP адреса, шлюз?

[sergeydolzhnicov]

Да, пробовал и с одной подсети, и с разных. 

вот про шлюз подскажите, он же должен быть только один? неважно в какой он сети ?

[XPEH]

В каждой сети должен быть указан шлюз по умолчанию (Default gateway), что бы пакеты знали через какой адрес идти в другие сети. Покажите картинки вашей сетевой конфигурации.

[sergeydolzhnicov]

 

сейчас все работает через 10.10.10.4 -  это изолированная сеть без доступа в локалку, все воткнуто в отдельный свитч влан-ы не используются

 

192.168.1.118 - интерфейс управления (dhcp включен в порядке эксперимента)

10.10.10.6 - это и есть пациент)

 

а шлюз по умолчанию может быть установлен только на одном сетевом адаптере, если выбираешь на другом использовать как шлюз по умолчанию то с предыдущего адаптера эта галочка снимается

 

[XPEH]

Если один адаптер (10.10.10.4) включен в отдельный изолированный свич и нет доступа в локалку, то сервер не знает как отвечать на запросы к 10.10.10.6 включенный куда-то еще. Если вам нужен 10Гб в отдельном изолированном свиче, включите его туда-же. Если нужен в локалке, то поменяйте ему IP на тот который соответствует локальной сети.

[sergeydolzhnicov]

Нужен 10Gb в отдельном изолированном свитче. ЛВС1 и ЛВС3 подключены к одному отдельному изолированному свитчу.  Отвечает только ЛВС1, а ЛВС3 не пингуется(

т.е. я пытаюсь подключить айскази к 10Gb.

Пинги запускаю с машины один интерфейс которой тоже в этом свитче, второй - локалка.

 

может я непонятно объясняю?

 

[XPEH]

Теперь уже понятно :-)

Можно попробовать создать бонд ЛВС1+ЛВС3 (11000Gbps) с адресом 10.10.10.4 и просто попробовать отключить ЛВС1

Оставшийся ЛВС3 будет отвечать?

 

[sergeydolzhnicov]

а в каком режиме его включить ?

[XPEH]

Balance SLB

[sergeydolzhnicov]

хм.. а где такой режим ?

 

[XPEH]

Он выбран по умолчанию. В новой версии переименовали.

[-iliya-]

10 часов назад, sergeydolzhnicov сказал:

День добрый!

есть хренолоджи DSM 6.0.2-8451

встроенные гигабитные порты работают без проблем

установил сетевую карту Intel X520-2

хренолоджи ее увидела без проблем, видит состояние карты (подключена или отключена)

но пинги не ходят (

маки в grub.cfg прописал, порты (на свитче и на карте) менял, модули sfp менял, патч-корды тоже

 

подскажите куда можно посмотреть?

 

так есть же настройка - несколько шлюзов, и затем шлюз по умолчанию где выпираешь приоритет, какой шлюз главнее,

но как работает не понял, хотел так сино в 2м провайдерам подключить, разнес сети по IP, указал свой шлюз для каждого, но мне надо было что бы торрент через одного работал а ftp и прочее через другого

[XPEH]

5 hours ago, -iliya- said:

но мне надо было что бы торрент через одного работал а ftp и прочее через другого

Это работает на разных уровнях.

Сильно упрощая примерно так: Шлюз работает на уровне сетевого (несущего) протокола IP, а ftp, torrent и пр. на уровне сессий и приложений (TCP/UDP). Можно перенаправить на разные шлюзы с помощью маршрутизации или статических маршрутов только направление на разные сети-хосты, но все TCP/IP протоколы вместе, а не отдельные подварианты. То есть можно указать маршрут на конкретный ftp сервер через другой шлюз, но все остальные подключения к этому хосту SMB, IPP, RDP, HTTP, NFS и пр. тоже будут направлены по этому маршруту.

У торрента конечный адрес подключения зарание не известен и все пакеты идут через шлюз по умолчанию - default gateway.

 

[-iliya-]

1 час назад, XPEH сказал:

Это работает на разных уровнях.

Сильно упрощая примерно так: Шлюз работает на уровне сетевого (несущего) протокола IP, а ftp, torrent и пр. на уровне сессий и приложений (TCP/UDP). Можно перенаправить на разные шлюзы с помощью маршрутизации или статических маршрутов только направление на разные сети-хосты, но все TCP/IP протоколы вместе, а не отдельные подварианты. То есть можно указать маршрут на конкретный ftp сервер через другой шлюз, но все остальные подключения к этому хосту SMB, IPP, RDP, HTTP, NFS и пр. тоже будут направлены по этому маршруту.

У торрента конечный адрес подключения зарание не известен и все пакеты идут через шлюз по умолчанию - default gateway.

 

в какой то из прошлых dsm мне казалось что был выбор на какую сетевуху повесить то или иное приложение еще во времена когда у меня была ds208  тогда еще был функционал роутера в dsm видать как свои роутеры сделали все поудаляли из прошивки

 

[sergeydolzhnicov]

День добрый! попробовал я режим Balance SLB. при создании бонда 10.10.10.4 - перестает отвечать(

и если отключаю (выдергиваю) ЛВС1  - ситуация не меняеся. удаляю бонд - пошли пинги.

мне бы хватило просто одного интерфейса на 10Gb в изолированной сети. несколько шлюзов даже не нужно.

я пробовал интерфейс 10Gb втыкать в локалку (другой свитч) - но он даже не получается адрес по DHCP (

но линк то горит! и в интерфейсе хренолоджи он выглядит как подключенный интерфейс.

вроде модель DS3615xs - должна поддерживать 10Gb.

может обновить версию? 

[XPEH]

Очевидно сетевая карта или провод не работает. Какой категории кабель и какой длины у вас между 10Г картой и свичем? Слишком короткие тоже не работают.

Нужны категории 6 или 7 не меньше 3 метров.