-iliya- 24 Posted September 25, 2020 Share Posted September 25, 2020 Предлагаю делиться опытом совместимости сетевых карт на 10Gb у меня есть такие: - Mellanox ConnectX-2 - в принципе работает отлично, драйвера из коробки завелись, сейчас оставил в двух NAS именно эти - HP NC550SFP - двух портовая, работает, но были странности. В какой то момент NAS просто исчезал из сети, по логам все работало и зависа не было перезагрузка устраняла проблему до следующего пропадания( от пары дней до недели работы). Так и не понял в чем дело. - Intel x520-DA1 - пока не пробовал, но такие карты стоят в PC компах которые соединены в сеть с NASами Одну Intel перешил и теперь она полноценно заводится в MacOS по скоростям между NAS получил почти полные 10Gb Скрытый текст [ ID] Interval Transfer Bitrate Retr Cwnd [ 5] 0.00-1.00 sec 1.04 GBytes 8.93 Gbits/sec 0 2.78 MBytes [ 5] 1.00-2.00 sec 1.09 GBytes 9.38 Gbits/sec 0 2.83 MBytes [ 5] 2.00-3.00 sec 1.09 GBytes 9.37 Gbits/sec 0 2.86 MBytes [ 5] 3.00-4.00 sec 1.09 GBytes 9.38 Gbits/sec 0 2.87 MBytes [ 5] 4.00-5.00 sec 1.09 GBytes 9.37 Gbits/sec 0 2.96 MBytes [ 5] 5.00-6.00 sec 1.09 GBytes 9.37 Gbits/sec 0 2.96 MBytes [ 5] 6.00-7.00 sec 1.09 GBytes 9.37 Gbits/sec 0 2.97 MBytes [ 5] 7.00-8.00 sec 1.09 GBytes 9.37 Gbits/sec 0 2.97 MBytes [ 5] 8.00-9.00 sec 1.09 GBytes 9.37 Gbits/sec 0 2.97 MBytes [ 5] 9.00-10.00 sec 1.09 GBytes 9.37 Gbits/sec 0 2.97 MBytes - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bitrate Retr [ 5] 0.00-10.00 sec 10.9 GBytes 9.33 Gbits/sec 0 sender [ 5] 0.00-10.03 sec 10.9 GBytes 9.30 Gbits/sec receiver такая же картина между NAS и MacOS а вот между Win и NAS - пониже Скрытый текст [ ID] Interval Transfer Bandwidth [ 4] 0.00-1.00 sec 308 MBytes 2.59 Gbits/sec [ 4] 1.00-2.00 sec 712 MBytes 5.96 Gbits/sec [ 4] 2.00-3.00 sec 785 MBytes 6.61 Gbits/sec [ 4] 3.00-4.00 sec 815 MBytes 6.83 Gbits/sec [ 4] 4.00-5.00 sec 818 MBytes 6.87 Gbits/sec [ 4] 5.00-6.00 sec 819 MBytes 6.87 Gbits/sec [ 4] 6.00-7.00 sec 817 MBytes 6.86 Gbits/sec [ 4] 7.00-8.00 sec 345 MBytes 2.90 Gbits/sec [ 4] 8.00-9.00 sec 817 MBytes 6.85 Gbits/sec [ 4] 9.00-10.00 sec 288 MBytes 2.42 Gbits/sec - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bandwidth [ 4] 0.00-10.00 sec 6.37 GBytes 5.47 Gbits/sec sender [ 4] 0.00-10.00 sec 6.37 GBytes 5.47 Gbits/sec receiver Скрытый текст [ ID] Interval Transfer Bandwidth [ 4] 0.00-1.00 sec 925 MBytes 7.76 Gbits/sec [ 4] 1.00-2.00 sec 925 MBytes 7.76 Gbits/sec [ 4] 2.00-3.00 sec 918 MBytes 7.70 Gbits/sec [ 4] 3.00-4.00 sec 927 MBytes 7.78 Gbits/sec [ 4] 4.00-5.00 sec 926 MBytes 7.77 Gbits/sec [ 4] 5.00-6.00 sec 926 MBytes 7.76 Gbits/sec [ 4] 6.00-7.00 sec 925 MBytes 7.76 Gbits/sec [ 4] 7.00-8.00 sec 925 MBytes 7.76 Gbits/sec [ 4] 8.00-9.00 sec 925 MBytes 7.76 Gbits/sec [ 4] 9.00-10.00 sec 922 MBytes 7.74 Gbits/sec - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bandwidth Retr [ 4] 0.00-10.00 sec 9.03 GBytes 7.75 Gbits/sec 0 sender [ 4] 0.00-10.00 sec 9.03 GBytes 7.75 Gbits/sec receiver 1 Quote Link to post Share on other sites
XPEH 88 Posted September 26, 2020 Share Posted September 26, 2020 На PC очевидно недостаточно быстрая дисковая подсистема и шина. Quote Link to post Share on other sites
-iliya- 24 Posted September 26, 2020 Author Share Posted September 26, 2020 2 часа назад, XPEH сказал: На PC очевидно недостаточно быстрая дисковая подсистема и шина. Не. Не в этом дело а дровах или самой винде. 1 PC на базе i7- 6950 и 96гб ram - там шин хватает 40 линий на нем же стоит хакинтош и в нем скорость по полная. 2 PC на Xeon 2678 см то же 40 линий ну и iperf при тестировании скорости ни как не использует диски Quote Link to post Share on other sites
XPEH 88 Posted September 26, 2020 Share Posted September 26, 2020 Типичная системная шина 6Гбс, 9Гбс или 12Гбс. Последние чаще встречаются на серверных платформах. Скорость между диском и сетевой картой ограничена пропускной способностью шины (PCI-PCIx). Также скорость дисков. SATA SSD = 550MBps - на одном диске без быстрого рейда слишком не разгонишься. Если только не поставить Nvme m.2 Короткие тесты с небольшим 1-2ГБ файлом не очень показательны, поскольку даже на полную скорость сеть не успевает выйти. Более показательны большие объемы перекачки, как при резервировании. Там, при объеме файлов больше 100ГБ можно более менее судить о производительности всей системы. Самое большeе что мне удавалось добиться на 12 дисковой оригинальной Synology (RS34xxPR) с 10Gbps портами и серверами (9Gbps) RAID на 8х15К SAS дисками это в районе 850-880МБс при резервировании нескольких терабайтов. Подключение через NFS. На другом NAS DELL/EMC (Compellent) с 12 SSD SAS - примерно тот-же результат.Все сетевые карты использовались Intel (если правильно помню 540 серии) Эти системы не сравнимы с компами даже в навороченной конфигурации, так-что ваши результаты довольно неплохие. 1 Quote Link to post Share on other sites
-iliya- 24 Posted September 26, 2020 Author Share Posted September 26, 2020 11 час назад, XPEH сказал: Типичная системная шина 6Гбс, 9Гбс или 12Гбс ну как бы совсем не так PCI-E 3.0 кои как раз у меня используются пропускают 8 ГТ/с -по одной линии. Итого для PCI-E 3.0 x8 получаем 7,88 Гбайт/с или 63Гбит\с - то есть можно спокойно создавать сеть на Infiniband 40Гбит а если ставить в слот x16 то и все 100Гбит. - но это совсем не для дома расходы. Мне Switch 10Gb на 8 портов SFP соил 17тр + по 3тр за карту Скрытый текст Например, пропускная способность линии PCIe 1.0 составляет: 2,5 ГТ/с · 8/10 бит/Т = 2 Гбит/с = 2·109 бит/c = 250 МБайт/c SSD и прочее не имеет к пропускной способности сети отношение. Так как в случае прокачки через iperf они не задействуются. 11 час назад, XPEH сказал: Самое большeе что мне удавалось добиться на 12 дисковой оригинальной Synology (RS34xxPR) с 10Gbps портами и серверами (9Gbps) RAID на 8х15К SAS дисками это в районе 850-880МБс при резервировании нескольких терабайтов. Подключение через NFS Хе - у меня самые обычные десктопные Toshiba по 2Тб - 12шт Raid5 по тестам DiscSpeed легко выдают по сети 850 и 980мбайт\с соответственно. Да даже NAS на базе Gen8 и 5 тошибок по 4Тб в RAID5 выдают скорость около 600-650мбайт 11 час назад, XPEH сказал: На другом NAS DELL/EMC (Compellent) с 12 SSD SAS - примерно тот-же результат.Все сетевые карты использовались Intel (если правильно помню 540 серии) Эти системы не сравнимы с компами даже в навороченной конфигурации, так-что ваши результаты довольно неплохие. да ладно - чем же они не сравнимы - PCI шины и количество линий от навороченности сервера ничем не отличается на работе сервер на Supermicro и паре Xeon-26xx так домашний на 6950 их в видеоредакторах уделывает. Нет никакой мистической серверной производительности - в большинстве задач десктопные будут на голову производительнее при той же цене. Но серверные можно поставить 2 в один сервер и получить 80PCI линий а с новыми Silver Gold процами 96Линий. Я же говорю что на том же самом железе у меня стоит MacOS и на той же самой сетевухе в iperf по тесту именно между сетью компа и NAS я получаю большую пропускную способность. Речь именно о сети, а не дисковой подсистеме. Кстати скорость на Intel x520 удалось поднять за счет установки Interrupt Moderation Rate в Low и наче выше 4-5Гбит не разгонялась. При чем NC550SFP - с ходу давал на базовых настройках в Win10 7.8-8.5Гбит\с 11 час назад, XPEH сказал: Там, при объеме файлов больше 100ГБ можно более менее судить о производительности всей системы Собственно у меня это средний размер файла с которыми я работаю - а так 130-200Гб и последнее частенько по 500-700Гб, есть файлы и по 980Гб. Но я собирал NAS как раз для быстрой сетевой работы что бы отказаться от локального хранилища по многим причинам: 1. совместная работа с нескольких компов - на одном создал задание и отправил на просчет на второй, а первый освободил. 2. BTRFS удобна симлинками - скопировал файл и он не повторно копируется и создается симлинк, NTFS так же умеет, но не по сети и не встроенными средствами. 3. Могу создать файл и на хренологии его сразу расшарить во вне через файлообмен, ftp, torrent и тд, не держа основной комп включенным. 1 Quote Link to post Share on other sites
-iliya- 24 Posted September 26, 2020 Author Share Posted September 26, 2020 У меня на работе есть DS1815+ + DX513 так там даже при наличии 4х 1Гб сетевух не удается и одну прокачать с 13 хардов, при этом самосбор выдает легко хорошую скорость на 2-3 раз меньшем количестве дисков - дело в поце который сино использует для софтового рейда. И все эти атомы Селероны и начальные xeon и тд в настоящих сино не могут полностью использовать скорости современных HDD Quote Link to post Share on other sites
XPEH 88 Posted September 27, 2020 Share Posted September 27, 2020 Я не хочу с Вами спорить, да и отвечать мне не обязательно, но задумайтесь над некоторыми вещами из опыта практического применения без легкомысленного отметания: 1. Много ли пользы в искусственных тестах отдельных компонентов системы по сравнению с реальным использованием в рабочей обстановке? 2. Современные компы, особенно в игровых конфигурациях или в конфигурации мощной рабочей станции действительно не уступают в скорости сравнимым по классу серверам, но как надолго? " Мистическая" серверная производительность заключается не в кратковременных задачах при запуске теста или редактировании фильма на несколько часов работы, а в способности безотказно выдерживать такой режим работы круглосуточно в течении долгого времени? Сравнение личного автомобиля (семейного, спортивного, внедорожника на ваш выбор) и тяжелого магистрального тягача, наматывающего сотни тысяч километров на одометре и перевозящем при это многие тонны груза) 3. Жесткие Диски для десктопов быстрые и недорогие, но в сервере работают недолго. Кроме того, ошибки чтения приводят к временному ступору. Диски для серверов обрабатывают такие ошибки и восстанавливаются намного быстрее, работают в тяжелых режимах намного дольше хотя и стоят изначально дороже. 4. Попытки тестировать пропускную способность бонда из 4 сетевых карт, упирается в пропускную способность одного канала. Чтобы увидеть на вашем DS1815+ скорость выше 1 Гигабита/с нужно одновременно (параллельно) грузить его задачами с 4 или больше РАЗНЫХ компов. Вполне приличная скорость даже с более медленными Красными WD дисками. Полные 4Гбс вы конечно не увидите, но больше 3Гбс вполне вероятно. 5. "все эти атомы Селероны и начальные xeon и тд в настоящих сино" вполне справляются с изначально поставленной задачей по управлению файлами и дисками. Их слабые стороны начинают проявляться, когда NAS пытаются загрузить доп. задачами по виртуализации, перекодированию фильмов и кучи других прибамбасов. Для дома такая универсальность удобна, но далеко не оптимальна если пытаться выжать максимальную сетевую скорость. Просто разные задачи и разумные компромиссы. Попытки самосбора сино на более мощном железе как раз для компенсации дополнительной нагрузки и снижения цены системы. Quote Link to post Share on other sites
-iliya- 24 Posted September 27, 2020 Author Share Posted September 27, 2020 XPEH, в принципе опыт у меня есть и не только с десктопными, но и с серверными платформами. На работе я собирал 3 сервера на Supermicro и отличия в высоконагруженных задача прекрасно понимаю. Но все что я описывал это собрано дома не для Enterprice или Datacenter решений. В спорах рождается истина. 1. польза есть как минимум для выявления слабого места - как я уже писал Комп 1 у меня на базе i7-6950 - на нем стоят 2 системы Win10Pro и MacOS HighSierra так вот синтетический тест и показывает что на винде сеть просела. А фактический тест это подтверждает. Для моих задач тест iperf более показателен, так как нет у меня на Комп1 локального массива и нет задачи переливать с NAS на локальный массив и обратно. Мне именно работать надо прямо с NAS. 2. Долго - реально долго, на работе десктопные системы работают годами не выключаясь - да просчеты не 24/7, но были моменты когда комп просчитывал фильм несколько недель без перерыва. Ну и самое главное что 6950 это делал быстрее чем пара 2640. По этому и получается что продуктивнее в моем случае было использовать i7 чем xeon так как первый быстрее просчитал и пошел отдыхать, а второй бы еще работал. 3. У меня 3 сервера 24, 24, 16 дисков на работе и в каждом используются десктопные диски которые работают уже лет 6 если не больше. Да были сыплющиеся диски, но единицы. И по факту мне было намного дешевле купить +3 диска в шкаф под замену чем все серверные. А вот в 1815+ стоят серверные диски - и уже 4 из 13 заменил - начали сыпаться, последний диск на 2005 бедов. 4,5. да я все это знаю и тестировал скорость бонда разными методами и LACP с поддержкой на управляемом свитче HP и с другой стороны сервер с nic Teaming и с копированием больших файлов с 1815+ на 2-3 компа и без бонда когда каждый комп подключался к своему ip из 4х на 1815+ Результат был плачевный, дошлое железо 1815+ просто не вытягивало возможностей дисков. Оставили nas под мелкие доки и не часто используемые файлы с бекапами. Ну а так то я тему поднимал для поиска оптимальных и без проблемных сетевых карт для Хренологии. Quote Link to post Share on other sites
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.