10G сетевые карты

[-iliya- 24]

Предлагаю делиться опытом совместимости сетевых карт на 10Gb

у меня есть такие:

- Mellanox ConnectX-2 - в принципе работает отлично, драйвера из коробки завелись, сейчас оставил в двух NAS именно эти

- HP NC550SFP - двух портовая, работает, но были странности. В какой то момент NAS просто исчезал из сети, по логам все работало и зависа не было

перезагрузка устраняла проблему до следующего пропадания( от пары дней до недели работы). Так и не понял в чем дело.

- Intel x520-DA1 - пока не пробовал, но такие карты стоят в PC компах которые соединены в сеть с NASами

Одну Intel перешил и теперь она полноценно заводится в MacOS

по скоростям между NAS получил почти полные 10Gb

Скрытый текст

[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  1.04 GBytes  8.93 Gbits/sec    0   2.78 MBytes
[  5]   1.00-2.00   sec  1.09 GBytes  9.38 Gbits/sec    0   2.83 MBytes
[  5]   2.00-3.00   sec  1.09 GBytes  9.37 Gbits/sec    0   2.86 MBytes
[  5]   3.00-4.00   sec  1.09 GBytes  9.38 Gbits/sec    0   2.87 MBytes
[  5]   4.00-5.00   sec  1.09 GBytes  9.37 Gbits/sec    0   2.96 MBytes
[  5]   5.00-6.00   sec  1.09 GBytes  9.37 Gbits/sec    0   2.96 MBytes
[  5]   6.00-7.00   sec  1.09 GBytes  9.37 Gbits/sec    0   2.97 MBytes
[  5]   7.00-8.00   sec  1.09 GBytes  9.37 Gbits/sec    0   2.97 MBytes
[  5]   8.00-9.00   sec  1.09 GBytes  9.37 Gbits/sec    0   2.97 MBytes
[  5]   9.00-10.00  sec  1.09 GBytes  9.37 Gbits/sec    0   2.97 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  10.9 GBytes  9.33 Gbits/sec    0             sender
[  5]   0.00-10.03  sec  10.9 GBytes  9.30 Gbits/sec                  receiver

такая же картина между NAS и MacOS

а вот между Win и NAS - пониже

Скрытый текст

[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec   308 MBytes  2.59 Gbits/sec
[  4]   1.00-2.00   sec   712 MBytes  5.96 Gbits/sec
[  4]   2.00-3.00   sec   785 MBytes  6.61 Gbits/sec
[  4]   3.00-4.00   sec   815 MBytes  6.83 Gbits/sec
[  4]   4.00-5.00   sec   818 MBytes  6.87 Gbits/sec
[  4]   5.00-6.00   sec   819 MBytes  6.87 Gbits/sec
[  4]   6.00-7.00   sec   817 MBytes  6.86 Gbits/sec
[  4]   7.00-8.00   sec   345 MBytes  2.90 Gbits/sec
[  4]   8.00-9.00   sec   817 MBytes  6.85 Gbits/sec
[  4]   9.00-10.00  sec   288 MBytes  2.42 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-10.00  sec  6.37 GBytes  5.47 Gbits/sec                  sender
[  4]   0.00-10.00  sec  6.37 GBytes  5.47 Gbits/sec                  receiver

Скрытый текст

[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec   925 MBytes  7.76 Gbits/sec
[  4]   1.00-2.00   sec   925 MBytes  7.76 Gbits/sec
[  4]   2.00-3.00   sec   918 MBytes  7.70 Gbits/sec
[  4]   3.00-4.00   sec   927 MBytes  7.78 Gbits/sec
[  4]   4.00-5.00   sec   926 MBytes  7.77 Gbits/sec
[  4]   5.00-6.00   sec   926 MBytes  7.76 Gbits/sec
[  4]   6.00-7.00   sec   925 MBytes  7.76 Gbits/sec
[  4]   7.00-8.00   sec   925 MBytes  7.76 Gbits/sec
[  4]   8.00-9.00   sec   925 MBytes  7.76 Gbits/sec
[  4]   9.00-10.00  sec   922 MBytes  7.74 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  9.03 GBytes  7.75 Gbits/sec    0             sender
[  4]   0.00-10.00  sec  9.03 GBytes  7.75 Gbits/sec                  receiver

 

 

[XPEH 88]

На PC очевидно недостаточно быстрая дисковая подсистема и шина.

[-iliya- 24]

2 часа назад, XPEH сказал:

На PC очевидно недостаточно быстрая дисковая подсистема и шина.

Не. Не в этом дело а  дровах или самой винде.

1 PC на базе i7- 6950 и 96гб ram - там шин хватает 40 линий на нем же стоит хакинтош и в нем скорость по полная.

2 PC на Xeon 2678  см то же 40 линий

ну и iperf при тестировании скорости ни как не использует диски 

[XPEH 88]

Типичная системная шина 6Гбс, 9Гбс или 12Гбс. Последние чаще встречаются на серверных платформах. Скорость между диском и сетевой картой ограничена пропускной способностью шины (PCI-PCIx).

Также скорость дисков. SATA SSD = 550MBps - на одном диске без быстрого рейда слишком не разгонишься. Если только не поставить Nvme m.2

Короткие тесты с небольшим 1-2ГБ файлом не очень показательны, поскольку даже на полную скорость сеть не успевает выйти. Более показательны большие объемы перекачки, как при резервировании. Там, при объеме файлов больше 100ГБ можно более менее судить о производительности всей системы.

Самое большeе что мне удавалось добиться на 12 дисковой оригинальной Synology (RS34xxPR) с 10Gbps портами и серверами (9Gbps) RAID на 8х15К SAS дисками это в районе 850-880МБс при резервировании нескольких терабайтов. Подключение через NFS.

На другом NAS DELL/EMC (Compellent) с 12 SSD SAS - примерно тот-же результат.Все сетевые карты использовались Intel (если правильно помню 540 серии)

Эти системы не сравнимы с компами даже в навороченной конфигурации, так-что ваши результаты довольно неплохие.

[-iliya- 24]

11 час назад, XPEH сказал:

Типичная системная шина 6Гбс, 9Гбс или 12Гбс

ну как бы совсем не так

PCI-E 3.0 кои как раз у меня используются пропускают 8 ГТ/с -по одной линии.

Итого для PCI-E 3.0 x8 получаем 7,88 Гбайт/с  или 63Гбит\с - то есть можно спокойно создавать сеть на Infiniband 40Гбит а если ставить в слот x16
 то и все 100Гбит. - но это совсем не для дома расходы. Мне Switch 10Gb на 8 портов SFP соил 17тр + по 3тр за карту

Скрытый текст

Например, пропускная способность линии PCIe 1.0 составляет:

2,5 ГТ/с · 8/10 бит/Т = 2 Гбит/с = 2·109 бит/c = 250 МБайт/c

SSD и прочее не имеет к пропускной способности сети  отношение. Так как в случае прокачки через iperf они не задействуются.

11 час назад, XPEH сказал:

Самое большeе что мне удавалось добиться на 12 дисковой оригинальной Synology (RS34xxPR) с 10Gbps портами и серверами (9Gbps) RAID на 8х15К SAS дисками это в районе 850-880МБс при резервировании нескольких терабайтов. Подключение через NFS

Хе - у меня самые обычные десктопные Toshiba по 2Тб - 12шт Raid5 по тестам DiscSpeed легко выдают по сети 850 и  980мбайт\с соответственно.

Да даже NAS на базе Gen8 и 5 тошибок по 4Тб в RAID5 выдают скорость около 600-650мбайт

11 час назад, XPEH сказал:

На другом NAS DELL/EMC (Compellent) с 12 SSD SAS - примерно тот-же результат.Все сетевые карты использовались Intel (если правильно помню 540 серии)

Эти системы не сравнимы с компами даже в навороченной конфигурации, так-что ваши результаты довольно неплохие.

да ладно - чем же они не сравнимы - PCI шины и количество линий от навороченности сервера ничем не отличается

на работе сервер на Supermicro и паре Xeon-26xx так домашний на 6950 их в видеоредакторах уделывает.

Нет никакой мистической серверной производительности - в большинстве задач десктопные будут на голову производительнее при той же цене.

Но серверные можно поставить 2 в один сервер и получить 80PCI линий а с новыми Silver Gold процами 96Линий.

 

Я же говорю что на том же самом железе у меня стоит MacOS  и на той же самой сетевухе в iperf по тесту именно между сетью компа и NAS я получаю большую пропускную способность. Речь именно о сети, а не дисковой подсистеме. Кстати скорость на Intel x520 удалось поднять за счет установки Interrupt Moderation Rate в Low и наче выше 4-5Гбит не разгонялась. При чем NC550SFP - с ходу давал на базовых настройках в Win10 7.8-8.5Гбит\с

11 час назад, XPEH сказал:

Там, при объеме файлов больше 100ГБ можно более менее судить о производительности всей системы

Собственно у меня это средний размер файла с которыми я работаю - а так 130-200Гб и последнее частенько по 500-700Гб, есть файлы и по 980Гб.

Но я собирал NAS как раз для быстрой сетевой работы что бы отказаться от локального хранилища по многим причинам:

1. совместная работа с нескольких компов - на одном создал задание и отправил на просчет на второй, а первый освободил.

2. BTRFS удобна симлинками - скопировал файл и он не повторно копируется и создается симлинк, NTFS так же умеет, но не по сети и не встроенными средствами.

3. Могу создать файл и на хренологии его сразу расшарить во вне через файлообмен, ftp, torrent и тд, не держа основной комп включенным.

 

[-iliya- 24]

У меня на работе есть DS1815+ + DX513 так там даже при наличии 4х 1Гб сетевух не удается и одну прокачать с 13 хардов, при этом самосбор выдает легко хорошую скорость на 2-3 раз меньшем количестве дисков  - дело в поце который сино использует для софтового рейда. И все эти атомы Селероны и начальные xeon и тд в настоящих сино не могут полностью использовать скорости современных HDD

[XPEH 88]

Я не хочу с Вами спорить, да и отвечать мне не обязательно, но задумайтесь над некоторыми вещами из опыта практического применения без легкомысленного отметания:

1. Много ли пользы в искусственных тестах отдельных компонентов системы по сравнению с реальным использованием в рабочей обстановке?

2. Современные компы, особенно в игровых конфигурациях или в конфигурации мощной рабочей станции действительно не уступают в скорости сравнимым по классу серверам, но как надолго? " Мистическая" серверная производительность заключается не в кратковременных задачах при запуске теста или редактировании фильма на несколько часов работы, а в способности безотказно выдерживать такой режим работы круглосуточно в течении долгого времени? Сравнение личного автомобиля (семейного, спортивного, внедорожника на ваш выбор) и тяжелого магистрального тягача, наматывающего сотни тысяч километров на одометре и перевозящем при это многие тонны груза)

3. Жесткие Диски для десктопов быстрые и недорогие, но в сервере работают недолго. Кроме того, ошибки чтения приводят к временному ступору. Диски для серверов обрабатывают такие ошибки и восстанавливаются намного быстрее, работают в тяжелых режимах намного дольше хотя и стоят изначально дороже.

4. Попытки тестировать пропускную способность бонда из 4 сетевых карт, упирается в пропускную способность одного канала. Чтобы увидеть на вашем DS1815+ скорость выше 1 Гигабита/с нужно одновременно (параллельно) грузить его задачами с 4 или больше РАЗНЫХ компов. Вполне приличная скорость даже с более медленными Красными WD дисками. Полные 4Гбс вы конечно не увидите, но больше 3Гбс вполне вероятно.

5. "все эти атомы Селероны и начальные xeon и тд в настоящих сино" вполне справляются с изначально поставленной задачей по управлению файлами и дисками. Их слабые стороны начинают проявляться, когда NAS пытаются загрузить доп. задачами по виртуализации, перекодированию фильмов и кучи других прибамбасов. Для дома такая универсальность удобна, но далеко не оптимальна если пытаться выжать максимальную сетевую скорость. Просто разные задачи и разумные компромиссы. Попытки самосбора сино на более мощном железе как раз для компенсации дополнительной нагрузки и снижения цены системы.

 

[-iliya- 24]

XPEH, в принципе опыт у меня есть и не только с десктопными, но и с серверными платформами. На работе я собирал 3 сервера на Supermicro и отличия в высоконагруженных задача прекрасно понимаю. Но все что я описывал это собрано дома не для Enterprice или Datacenter решений.

В спорах рождается истина.

1. польза есть как минимум для выявления слабого места - как я уже писал Комп 1 у меня на базе i7-6950 - на нем стоят 2 системы Win10Pro и MacOS HighSierra

так вот синтетический тест и показывает что на винде сеть просела. А фактический тест это подтверждает. Для моих задач тест iperf более показателен, так как нет у меня на Комп1 локального массива и нет задачи переливать с NAS на локальный массив и обратно. Мне именно работать надо прямо с NAS.

2. Долго - реально долго, на работе десктопные системы работают годами не выключаясь - да просчеты не 24/7, но были моменты когда комп просчитывал фильм несколько недель  без перерыва. Ну и самое главное что 6950 это делал быстрее чем пара 2640. По этому и получается что продуктивнее в моем случае было использовать i7 чем xeon так как первый быстрее просчитал и пошел отдыхать, а второй бы еще работал.

3.  У меня 3 сервера 24, 24, 16 дисков на работе и в каждом используются десктопные диски которые работают уже лет 6 если не больше. Да были сыплющиеся диски, но единицы. И по факту мне было намного дешевле купить +3 диска в шкаф под замену  чем все серверные. А вот в 1815+ стоят серверные диски - и уже 4 из 13 заменил - начали сыпаться, последний диск на 2005 бедов.

4,5. да я все это знаю и тестировал скорость бонда разными методами и LACP с поддержкой на управляемом свитче HP и с другой стороны сервер с nic Teaming и с копированием больших файлов с 1815+ на 2-3 компа и без бонда  когда каждый комп подключался к своему ip из 4х на 1815+ Результат  был плачевный, дошлое железо 1815+ просто не вытягивало возможностей дисков. Оставили nas под мелкие доки и не часто используемые файлы с бекапами.

 

Ну а так то я тему поднимал для поиска оптимальных и без проблемных сетевых карт для Хренологии.