Jump to content
XPEnology Community

Как получить в виртуальной машине DSM VSphere скорости 2.5 Gbps и выше


Al lex

Recommended Posts

Вопрос сабжа.

На железной DSM стоит RAID 5 и realtek 8125 - скорость обмена упирается в 270, что вполне неплохо.

Виртуализация реализована на отдельной коробке через hyper-v.

Все это ест 120 ватт

Естественно, есть желание слить функционал на одном сервере. Так как hyper-v отпадает - познакомился с VMWare

У меня было несколько заходов с попыткой перенести железную DSM в виртуальную машину. Пробовал поднять DSM на 6.7, 7.0, 8.0

Все упирается в скорость обмена данными.

1. Пробрасывал realtek 8125 passthrough - скорость то 120, то 170

2. На VMWare 7.0 и 8.0 ставил intel i225 - так как единственная карта с 2.5, которая без бубнов взлетает - ее DSM игнорирует - скорость 100.

Вопрос: на каком железе и как у вас организована сеть DSM в виртуалке VMWare, чтобы пробить стандартный гигабитный потолок

 

 

 

Link to comment
Share on other sites

Если с проброшенными железками скорость не очень, то думаю дело не в esxi. Думается надо подгрузить драйвера при компиляции загрузчика. В одной из тем про проксмокс это есть.

Link to comment
Share on other sites

1 hour ago, rtfm said:

Если с проброшенными железками скорость не очень, то думаю дело не в esxi. Думается надо подгрузить драйвера при компиляции загрузчика. В одной из тем про проксмокс это есть.

Подгружаю драйвера для реалтек 8125, сейчас они вообще в rptc вшиты и грузятся сами. А толку ноль.

Вместо безотказного хранилища бэкапов с приличной скоростью доступа на железном последнем ДСМ 7 получаю нестабильную падающую систему. Со сниженной скоростью и без автовыключения из-за отсутствия vmware tools под семерку.

При этом приходится HBA ставить LSIшный, так как китайские холодные HBA от марвела и асмедии на 4/6 сата в VMWare не пробрасываются. А LSI это утюг в корпусе с отдельным охлаждением и 20 ватт сверху

После такого наслаждения откатываюсь каждый раз обратно

Но народу же нравится нас в виртуалке. Хочу постичь дзен, что я делаю не так, если там и так все просто: ДСМ я поднимаю, драйвера качаю, пассру пробрасываю

Link to comment
Share on other sites

1 hour ago, Al lex said:

Но народу же нравится нас в виртуалке.

Очень нравится, но для тестов, что бы поиграться, поучиться и понять нужно ли им это. Для более менее нормального пользования, ставят все-таки на железо.

Link to comment
Share on other sites

18 часов назад, Al lex сказал:

При этом приходится HBA ставить LSIшный

Так его вроде только как scsi устройство удается пробросить. А с ним 7ка не умеет. Это я понял форумов обчитавшись. Имею на руках lsi 9207. Но решил проверить потом на практике. До кучи заказал асмедию 1166 у китайцев. т.к. старые 1061 ну совсем старые. Буду и её пробовать пропихивать,. Есть старые маны по пробросу видюх, когда этого было делать нельзя из коробки. Пока как правильно было замечено пробую на зайцах. Не получится не беда. Прикупил мамку с ipmi. Буду ставить на железо. Но тоже буду сперва пытаться в виртуалку все втиснуть.

Link to comment
Share on other sites

1 minute ago, rtfm said:

Так его вроде только как scsi устройство удается пробросить. А с ним 7ка не умеет. Это я понял форумов обчитавшись. Имею на руках lsi 9207. Но решил проверить потом на практике. До кучи заказал асмедию 1166 у китайцев. т.к. старые 1061 ну совсем старые. Буду и её пробовать пропихивать,. Есть старые маны по пробросу видюх, когда этого было делать нельзя из коробки. Пока как правильно было замечено пробую на зайцах. Не получится не беда. Прикупил мамку с ipmi. Буду ставить на железо. Но тоже буду сперва пытаться в виртуалку все втиснуть.

Нет, просто с 7ки активно выпиливают поддержку устройств. На руках Lsi 9217-8i. В 7ке работает на железе и пробрасывается. Правда кончилось тем, что через три дня тестовой работы отвалился и мне ДСМ отказался диски обратно подключать, сказав, что они все порченные.

А в 8ке этот раид видно, но проброс заканчивается ошибкой.

Тут мне про прямые руки могут начать писать - но в пробросе ошибиться трудно - toggle passthrough и дальше выбрать как пробрасываемое устройство. Других вариантов вроде как и нет.

Link to comment
Share on other sites

17 hours ago, XPEH said:

Очень нравится, но для тестов, что бы поиграться, поучиться и понять нужно ли им это. Для более менее нормального пользования, ставят все-таки на железо.

У меня данные клиентов в бэкапе и другая чувствительная для задницы информация. На поиграть такие данные не годятся. И вот думаешь - перегрузил сервер не дождавшись зависшего на завершении vDSM, так как он там четность проверял, ушел в себя, а ты не обратил внимания. И накрылись данные. Да ну нафиг.

Просто пишет народ статьи на тему vDSM vs baremetall на полных щах как о рабочем решении. В темах форума тоже говорит, что голем на виртуалке нормально живет годами. Вот и бьюсь лбом. Может что не понимаю.

Прикинул цену супермикры, чтобы она i79700 ела, или новый проц покупать, и чтоб память без ECC или новую покупать, и чтоб слотов под расширение несколько - пробрасывать nvme и раид. И весь это геморрой без четкой уверенности, что в конце все взлетит.

Link to comment
Share on other sites

38 минут назад, Al lex сказал:

На руках Lsi 9217-8i. В 7ке работает на железе и пробрасывается.

Ну насколько я понял нужен чистый ahci. Якобы семерка не умеет нормально смарт получать от hba  и поэтому срет в логи безбожно. Возможно поэтому и отказалась ваша виртуалка дальше работать с этими дисками.

А возможно что драйвера для этого контроллера в 7ке esxi выпилены. Может есть смысл развернуть на 6.7.

38984906_.thumb.png.afdb1c3335459d898983824b68526e95.png

Вопрос в каком режиме прошит контроллер? якобы есть отдельные IT прошивки и они вроде как могут подойти. Во всяком случае попробую все.

Для меня важно все таки собрать на виртуалке.т.к. Крутится сервер на котором 5 виртуалок и как раз свободны 4 отсека под hdd  с горячей заменой и один pci-e слот. Можно конечно в виде rdm пробросить диски но при деградации замучаешься диск менять. С автовыключением. У меня все ибп с snmp поэтому тут проблем нет.

  • Like 1
Link to comment
Share on other sites

1 hour ago, rtfm said:

Ну насколько я понял нужен чистый ahci. Якобы семерка не умеет нормально смарт получать от hba  и поэтому срет в логи безбожно. Возможно поэтому и отказалась ваша виртуалка дальше работать с этими дисками.

А возможно что драйвера для этого контроллера в 7ке esxi выпилены. Может есть смысл развернуть на 6.7.

38984906_.thumb.png.afdb1c3335459d898983824b68526e95.png

Вопрос в каком режиме прошит контроллер? якобы есть отдельные IT прошивки и они вроде как могут подойти. Во всяком случае попробую все.

Для меня важно все таки собрать на виртуалке.т.к. Крутится сервер на котором 5 виртуалок и как раз свободны 4 отсека под hdd  с горячей заменой и один pci-e слот. Можно конечно в виде rdm пробросить диски но при деградации замучаешься диск менять. С автовыключением. У меня все ибп с snmp поэтому тут проблем нет.

По моему контроллеру вопросов вообще нет, это чистый HBA, нет там раидовского мода.  Поэтому спасибо за инфу про логи. Кстати, более менее нормально отработало на 6.7 - но снмп давало один по первому диску и все. Т.е. мониторинг в заббиксе шел по бороде. В 6.7 другая проблема - сеть самого гипервизора либо 1Гбтс, либо 10. Т.е. я кастрирую остальные свои виртуалки + то, что сейчас на сервере на железе крутится и, освобождая сервер hyper-v для замены на VMWare, я все остальное урежу до гигабита. В windows server и хренологии сейчас по китайской реалтековской карте за штуку каждая, и эта связка дает без гемороя везде 2.5 гигабита. 

Спасибо, осознал всю глубину задницы и руки перестали чесаться. Сервер виндоус с сетью на 2.5 гигабита, на котором часть баз работает нативно без потерь на виртуализацию + на нем же виртуалки через эту же сетевую + вииам. На другой стороне хренология с сетью на 2.5 гигабита как сервер бэкапов и связь с облаками. И все это на максимальной скорости без охлаждения серверных сетевых и раидов. И хрен с ним с теоретическим пережором 20-30 ватт. Так тому и быть.

Link to comment
Share on other sites

18 часов назад, Al lex сказал:

но снмп давало один по первому диску и все

А не проще включить снмп в дсм и получать данные оттуда? Тем более если пробрасывать контроллер. Смысла мониторить контроллер из под вмваре нет.

18 часов назад, Al lex сказал:

самого гипервизора либо 1Гбтс, либо 10.

Рассмотреть покупку 10г сетевухи. Или с портами  засада? Как вариант аггрегация.

18 часов назад, Al lex сказал:

Спасибо, осознал всю глубину задницы и руки перестали чесаться. Сервер виндоус с сетью на 2.5 гигабита, на котором часть баз работает нативно без потерь на виртуализацию + на нем же виртуалки через эту же сетевую + вииам. На другой стороне хренология с сетью на 2.5 гигабита как сервер бэкапов и связь с облаками. И все это на максимальной скорости без охлаждения серверных сетевых и раидов. И хрен с ним с теоретическим пережором 20-30 ватт. Так тому и быть.

Такое впечатление что все это стоит под столом и пассивно охлаждается ;)  Как по мне то виим очень прожорливая вещь. И если не сажать его на отдельную железку то сильно сильно тормозит сервак. АББ в этом отношении гораздо лучше и в связке с бтрфс дает супер результаты, плюс план хранения. По поводу баз. Как по мне решается банальным райзером с нвме дисками. И пробросом дисков в ОС. Единственно надо глядеть сколько и чего надо по производительности.

 

Но в любом случае надо посидеть годик на хренологии, пообновлять полгядеть на устойчивость и только потом думать, стоит ли пускать в прод. Ну или поставил и не выпускать в свет от греха.

Link to comment
Share on other sites

12 minutes ago, rtfm said:

А не проще включить снмп в дсм и получать данные оттуда? Тем более если пробрасывать контроллер. Смысла мониторить контроллер из под вмваре нет.

 

Я видно непонятно объяснил:

именно снмп дсм дает чушь по дискам через контроллер LSI

с дешевыми китайцами на 4 сата нет такой проблемы, но они не пробрасываются в VMWare

 

Quote

Такое впечатление что все это стоит под столом и пассивно охлаждается  

 

Именно. Стоит под столом. Из других мест меня жена выгнала со всем моим железом. Так что ограничения накладываются.

Но выход нашел - купил несколько толстенных старых фракталовских корпусов - в частности r4 и Define mini (без C) - абсолютная тишина с моими 10+ дисками, i7, охлаждайками и прочими радостями. Мечтаю проапгрейдить жилище - но это разговор для совсем другого форума... Даром что сохо.

 

Всем хреноводам на заметку - нельзя сделать хранилище на 5 и более дисков, холодным, маленьким и тихим - коробка подпрыгивать начинает. Только fractal design define 4,5,6,7, только хардкор - результаты изумительные и уникальные.

Quote

 Как по мне то виим очень прожорливая вещь. И если не сажать его на отдельную железку то сильно сильно тормозит сервак

Да, очень хорошая вещь, но когда запускается - жрет ресурсы чудовищно. Я б его для тестов процессоров и оперативки использовал, честное слово. А планы вроде GFS там есть, система достаточно гибкая. При этом грузит систему все время пока пашет, поэтому повышенная скорость обмена с ДСМ самое то. В виртуалке чем еще страшно. Если ядра машине с вимом не ограничить - она выжирает ресурсы и гипервизор не открывается. Коробка орет от натуги, как будто ее насилуют, а посмотреть на сам акт невозможно.

 

Quote

По поводу баз. Как по мне решается банальным райзером с нвме дисками. И пробросом дисков в ОС. Единственно надо глядеть сколько и чего надо по производительности.

Да даже райзера не надо. Нвме с гнезд на плате нативно пробрасывается что в VMWare, что в Hyper-v. Другое дело, что снэпшоты и бэкапы машин с passthrough делать на лету в VMWare нельзя - надо машину тушить, а в Hyper-v можно. Вот и думай какой гипервизор лучше. 

Quote

Но в любом случае надо посидеть годик на хренологии, пообновлять полгядеть на устойчивость и только потом думать, стоит ли пускать в прод. Ну или поставил и не выпускать в свет от греха.

 

Вот с этим соглашусь. Меня на неделю хватало. Дальше тащил системы обратно на железо.

Link to comment
Share on other sites

1 час назад, Al lex сказал:

именно снмп дсм дает чушь по дискам через контроллер LSI

О чем и была речь. HBA адаптеры увы не подходят для dsm7. Только для dsm 6.1 вроде как в и в dsm 6.2 уже не работают. Буду пытаться асмедиа пропихнуть.

 

1 час назад, Al lex сказал:

Именно. Стоит под столом.

А шкафчик, кладовка ,туалет.

1 час назад, Al lex сказал:

GFS там есть

Я ничего не нашел лучшего, как делать несколько задач чтобы получить нормальную глубину с минимальным количеством копий.

1 час назад, Al lex сказал:

VMWare нельзя - надо машину тушить, а в Hyper-v можно.

Это да. Тут бы бэкапить саму базу но АББ этого не умеет. Но из-за того что в гипере соединение только через rdp я и отказался от него. Проблема юсб никогда не будет решена.

Link to comment
Share on other sites

18 minutes ago, rtfm said:

О чем и была речь. HBA адаптеры увы не подходят для dsm7. Только для dsm 6.1 вроде как в и в dsm 6.2 уже не работают. Буду пытаться асмедиа пропихнуть.

 

А шкафчик, кладовка ,туалет.

Я ничего не нашел лучшего, как делать несколько задач чтобы получить нормальную глубину с минимальным количеством копий.

Это да. Тут бы бэкапить саму базу но АББ этого не умеет. Но из-за того что в гипере соединение только через rdp я и отказался от него. Проблема юсб никогда не будет решена.

Решена там проблема с юсб, когда DDA для nvme и LAN делали, попутно цапнули большую часть pci устройств, кроме раидов, к сожалению, и китайские планки для usb 3 там определяются и пробрасываются. Работают вообще безпроблемно как часы в отличие от VMWare и руками новые флешки пробрасывать не надо. А получив планку на 4 ЮСБ уже можете дальше решать проблему с бухгалтерским ежом из эцпешек через размножители. Работает как rdm в VMWare - вроде неофициально и через консоль, но уже много лет и ни на одной версии.

И чем вам рдп не нравится? Включить обязательное фипс шифрование протокола и прочие плюшки и фиг кто сломает

Link to comment
Share on other sites

5 часов назад, Al lex сказал:

Решена там проблема с юсб, когда DDA для nvme и LAN делали, попутно цапнули большую часть pci устройств

Ок. Надо поставить проверить. Тем более гипер сервер ранее был халявный как сейчас не знаю.

5 часов назад, Al lex сказал:

И чем вам рдп не нравится?

Вполне годный продукт с своими минусами и плюсами. Не нравится что вариантов штатных к гостевой ос в гипере кроме рдп и нет.  Или за последние 5 лет что то поменялось? К примеру чтобы зайти 2мя пользователями в одну ос с одним рабочим столом сейчас можно?

Link to comment
Share on other sites

12 hours ago, rtfm said:

Ок. Надо поставить проверить. Тем более гипер сервер ранее был халявный как сейчас не знаю.

Вполне годный продукт с своими минусами и плюсами. Не нравится что вариантов штатных к гостевой ос в гипере кроме рдп и нет.  Или за последние 5 лет что то поменялось? К примеру чтобы зайти 2мя пользователями в одну ос с одним рабочим столом сейчас можно?

По вашим вопросам стало только хуже с 2016

встроенного удаленного помощника не появилось

Халявный гипер закрыли, цены лицензирования перекроили и сделали менее удобными

Вообще, внешне с 2016 ничего не поменялось. 

А вот под капотом - улучшили защиту ядра, переписали refs, переписали модуль обновлений - не тормозит при обновлениях, переписали защиту виртуальных машин. Это из того, чем я пользуюсь

Остальное для бородатых админов и девопсов: Kubernetes, миграции и прочее.

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...