Не подключается RDM диск в ESXi 8.0 Xpenology

[Redbarrakuda]

Добрый день.

Пытаюсь по инструкции подключить RDM диск к виртуалке Xpenology DSM 7.1-42661, модель ставил DS3622xs+

Диск использую - 4 Tb Western Digital Red <WD40EFAX> 

инструкцию1 использую - https://www.vmgu.ru/news/vmware-esxi-add-local-disk-to-vm

инструкцию2 использую - http://kotkotofey.blogspot.com/2011/07/esxi.html

 

после ввода этой команды получаю сообщение

[root@test:~] vim-cmd vmsvc/device.diskaddexisting 18 /vmfs/volumes/datastore1/Xpenology/rdm_disk1.vmdk 0 2

 

Reconfigure failed: (vim.fault.InvalidDeviceBacking) {
   faultCause = (vmodl.MethodFault) null,
   faultMessage = <unset>,
   property = <unset>,
   deviceIndex = 0
   msg = "Incompatible device backing specified for device '0'."
 

Может кто сталкивался с подобной проблемой, как решить?

 

 

P.S: Изначально хочу перейти с аппаратного NAS Synology DS213+ (который работает более 5 лет) на собранный ПК с установленным ESXi 8.0 и использовать виртуалку Xpenology, и другие виртуалки для тестов. Очень уж удобное решение виртуализация. 

Xpenology развернул, осталось диски к нему подключить.

 

[rtfm]

Добрый день.

Только вчера пытался делать то же самое. и понял что подключать диски по отдельности плохая затея. Т.к. существует куча ограничений. Лучше пробрасывать sata контроллер В вашем случае в инструкции по первой ссылке есть ссылка на описание сто такое RDM диски. По этой ссылке написано что ограничение по объему 2тб.

[rtfm]

До недавнего времени не занимался пробросом устройств в вритуалки, и по картинкам все красиво. Столкнулся прочитал призадумался. И насколько я могу судить через гуи пробрасывается любое устройство на pci-e шине. Конечно других способов проброса никто не отменял, но при замене того же диска на другой надо будет совершить немалый ритуал танцев с бубнами и не факт что удачно. Поэтому купил для этого недорогой hba контроллер, попробую через него. Остается вопрос с материнками и корпусами под все это дело. Т.к. собирать с малым количеством дисков не вижу большого смысла. проще купить железку сино.

[Redbarrakuda]

12 часов назад, rtfm сказал:

Добрый день.

Только вчера пытался делать то же самое. и понял что подключать диски по отдельности плохая затея. Т.к. существует куча ограничений. Лучше пробрасывать sata контроллер В вашем случае в инструкции по первой ссылке есть ссылка на описание сто такое RDM диски. По этой ссылке написано что ограничение по объему 2тб.

 

нет, если подключать диск как Physical RDM, то можно и более 2 TB, ниже в обсуждениях нашел.

Для pRDM (Physical RDM):

# vmkfstools -z /vmfs/devices/disks/<имя t10.ATAитп> rdm_WD2DWCAVU0477582.vmdk

 

С проблемой разобрался. Понизил версию ESXi до 7, и сразу все подключалось. Причем у меня ранее даже *.vmdk диск не подключался из менеджера, а только через SSH. (тоже посоветовали здесь как решить по SSH).

Думаю, что 8 версию еще не доработали и не стоит её в  прод пускать.

 

 

 

[Redbarrakuda]

11 часов назад, rtfm сказал:

До недавнего времени не занимался пробросом устройств в вритуалки, и по картинкам все красиво. Столкнулся прочитал призадумался. И насколько я могу судить через гуи пробрасывается любое устройство на pci-e шине. Конечно других способов проброса никто не отменял, но при замене того же диска на другой надо будет совершить немалый ритуал танцев с бубнами и не факт что удачно. Поэтому купил для этого недорогой hba контроллер, попробую через него. Остается вопрос с материнками и корпусами под все это дело. Т.к. собирать с малым количеством дисков не вижу большого смысла. проще купить железку сино.

 

Мне для домашнего использования, большой сервак не нужен. Цель - 4 HDD поставить и чтоб была возможность на этом сервере запускать для тестов разные виртуалки без гемора. К примеру очень удобно использовать виртуалку 3cx для звонков с родными, 

[rtfm]

21 час назад, Redbarrakuda сказал:

 

нет, если подключать диск как Physical RDM, то можно и более 2 TB, ниже в обсуждениях нашел.

Для pRDM (Physical RDM):

# vmkfstools -z /vmfs/devices/disks/<имя t10.ATAитп> rdm_WD2DWCAVU0477582.vmdk

 

С проблемой разобрался. Понизил версию ESXi до 7, и сразу все подключалось. Причем у меня ранее даже *.vmdk диск не подключался из менеджера, а только через SSH. (тоже посоветовали здесь как решить по SSH).

Думаю, что 8 версию еще не доработали и не стоит её в  прод пускать.

 

 

 

 

Все равно. Неудобно менять диски в случае деградации. Для этого нужно выключать ESXI менять диск, потом включать указывать виртуалке новый. Все бы хорошо если DSM единственная виртуалка. Тогда можно. Буду пробовать контроллер подсовывать. Как материнка с ремонта приедет попробую отпишусь.

[Redbarrakuda]

В 21.01.2023 в 21:29, rtfm сказал:

 

Все равно. Неудобно менять диски в случае деградации. Для этого нужно выключать ESXI менять диск, потом включать указывать виртуалке новый. Все бы хорошо если DSM единственная виртуалка. Тогда можно. Буду пробовать контроллер подсовывать. Как материнка с ремонта приедет попробую отпишусь.

 

Добрый день.

 

Задумался на счет платы RAID (sata контроллер). А может есть ссылки, где почитать и скрины посмотреть как пробросить данный контроллер в нужную виртуалку и как потом это все обслуживать в случаи выхода из строя одно HDD. Так то я понял как это все должно быть, но было бы интересно почитать на примерах.

 

 

[rtfm]

В 19.02.2023 в 15:22, Redbarrakuda сказал:

 

Добрый день.

 

Задумался на счет платы RAID (sata контроллер). А может есть ссылки, где почитать и скрины посмотреть как пробросить данный контроллер в нужную виртуалку и как потом это все обслуживать в случаи выхода из строя одно HDD. Так то я понял как это все должно быть, но было бы интересно почитать на примерах.

 

 

Готового мануала нет.

Если коротко есть мануалы по пробросу видеокарты в гостевую ОС.  Мануалы старые с тех времен когда этого штатно делать было нельзя. Я буду делать по ним. Если штатно не получится, Кто то писал что пробовал но не вышло. Но пробрасывали HBA адаптеры, и с ними все выходило хорошо, так было на 6й версии dsm. На 7ке все сломано и dsm нужен чистый сата.

 

Хотел было уже делать, но пока у меня затык. Купил практически все железо, в том числе сата контроллер. Но материнка (сервачная) полусдохла. Сейчас меняю по гарантии, в моем случае вопрос не быстрый. Как поменяю буду пробовать, о результатх сообщу. Купил специально мать с ipmi, чтобы в случае неудачи с пробросом удаленно иметь низкоуровневый доступ.

[Redbarrakuda]

В 20.02.2023 в 22:25, rtfm сказал:

Готового мануала нет.

Если коротко есть мануалы по пробросу видеокарты в гостевую ОС.  Мануалы старые с тех времен когда этого штатно делать было нельзя. Я буду делать по ним. Если штатно не получится, Кто то писал что пробовал но не вышло. Но пробрасывали HBA адаптеры, и с ними все выходило хорошо, так было на 6й версии dsm. На 7ке все сломано и dsm нужен чистый сата.

 

Хотел было уже делать, но пока у меня затык. Купил практически все железо, в том числе сата контроллер. Но материнка (сервачная) полусдохла. Сейчас меняю по гарантии, в моем случае вопрос не быстрый. Как поменяю буду пробовать, о результатх сообщу. Купил специально мать с ipmi, чтобы в случае неудачи с пробросом удаленно иметь низкоуровневый доступ.

 

понятно. Спасибо! как сделаю тоже сообщу, что получилось. 

 

 

[rtfm]

Похоже не все так плохо.

[Redbarrakuda]

В 02.03.2023 в 09:20, rtfm сказал:

Похоже не все так плохо.

 

контроллер сразу определился? не нужно было подсовывать и пересобирать заново ESXI с дровами для него?

 

 

[rtfm]

Я ставил esxi без него. Потом вставил в слот и вуаля можно пробрасывать. Доп драйверов не ставил. Версия esxi 7 стандартная.  Asm 1166 на pcie x4. Более древние не рассматривал в ввиду узкого места в виде работы только в одну линию pcie.

Пока далее не экспериментировал, не было времени. Немного ошибся с выбором платы. т.к. на контроллере должно быть максимум 6 портов. Я взял плату на 10 портов. Не вовремя прочитал даташит. Обычно втыкают еще один контроллер в таких случаях, в плату, надо бы изучить. В случае чего пойдет для апгрейда старых ПК. И не факт что dsm будет себя адекватно вести с неправильным количеством портов. Надо тестировать. Но начало радует.

 

[dj_nsk]

В 05.03.2023 в 02:00, rtfm сказал:

Я ставил esxi без него. Потом вставил в слот и вуаля можно пробрасывать. Доп драйверов не ставил. Версия esxi 7 стандартная.  Asm 1166 на pcie x4...

Ребята, а вы какую задачу-то решаете в итоге? Просто проброс SATA-контроллера целиком в виртуальную DSM? Так это вроде никаких танцев и не требует.

Я воткнул в материнку два дополнительных контролера PCIe (один - на 4 порта SATA, второй - для NVME),

ESXi 8.0 установлена на NVME диск, там же создан datastore для всех виртуалок, первая из которых - DSM7.1.1 (и образ загрузчика TCRP).

Все контроллеры и даже подключенные к ним HDD присутствовали в момент установки ESXi, никак этому не помешали и не потеряли данные от уже установленной ранее DSM (работала на этой же физической машине без виртуализации с загрузчиком на USB).

Проброска внешних контроллеров доступна сразу (Host/Manage/Hardware/PCI Devices - выбрать нужное устройство и включить Toggle passthrough).

Я ещё и встроенный (в материнку) SATA-контроллер пробросил (см. здесь, как настроить).

 

В итоге ESXi и её хранилище с виртуалками крутится на диске NVME.

А виртуальной DSM в полное распоряжение отданы два SATA-контроллера по 4 диска каждый. Она сама с ними прекрасно разбирается (строит свой RAID, делает SSD-кэш и т.п.), ESXi  в это никак не вмешивается, никакие дополнительные виртуалки к этим дискам доступа не имеют, ничего сломать не могут. Подключение/отключение дисков - как на физической DSM (можно выдернуть один, вставить другой - предложит восстановить RAID, можно поменять все диски местами - DSM будет работать как ни в чём не бывало...).

 

И ещё. Старый "физический" загрузчик на USB флешке так и воткнут в железку. Если захочется, я могу при полной перезагрузке указать, что надо загрузиться с неё (а не с NVME), и совершенно без проблем загружается "физическая" DSM. Та же самая, с теми же дисками, но уже без виртуализации. 😃

 

Дополнительно: сделал проброску в DSM встроенной сетевой карты Realtek (для ESXi была добавлена внешняя Intel) и встроенного GPU процессора. Конфигурация виртуалки для DSM выглядит так:

Edited March 9, 2023 by dj_nsk

[Redbarrakuda]

В 04.03.2023 в 22:00, rtfm сказал:

Я ставил esxi без него. Потом вставил в слот и вуаля можно пробрасывать. Доп драйверов не ставил. Версия esxi 7 стандартная.  Asm 1166 на pcie x4. Более древние не рассматривал в ввиду узкого места в виде работы только в одну линию pcie.

 

 

заказал плату ASM 1166 на pcie на 6 портов, жду её после 4 апреля. Буду экспериментировать. 

[Redbarrakuda]

В 09.03.2023 в 15:06, dj_nsk сказал:

Проброска внешних контроллеров доступна сразу (Host/Manage/Hardware/PCI Devices - выбрать нужное устройство и включить Toggle passthrough).

Я ещё и встроенный (в материнку) SATA-контроллер пробросил (см. здесь, как настроить).

 

 

Изначально задача была подключить два HDD диска по 4TB к Xpenology как RDM диски. Спасибо форумчанам, помогли справиться с этой задачей. 

Также натолкнули на мысль, как удобнее с этим работать. Что можно разом через плату пробросить и не мучиться в с добавлением по диску через ssh.

 

Ваше сообщение очень интересное и много нового для себя узнал, я пытался изначально пробросить встроенный (в материнку) SATA-контроллер, но штатными средствами ESXI не получилось, не дает сделать изменение на pass-through. Приложенную инструкцию сейчас читаю. Конечно нужно немного разобраться, где там чего в файл добавить, но если получиться обязательно опишусь. Это было бы даже лучше чем через плату PCIE, так как и скорость не резалась бы. И с учетом того, что я собирал для домашнего использования и выбирал коробку для сервера мини-АТХ, слот на материнке PCIE всего один, возможно он бы мне ещё бы пригодился.

 

 

 

[dj_nsk]

5 часов назад, Redbarrakuda сказал:

... я пытался изначально пробросить встроенный (в материнку) SATA-контроллер, но штатными средствами ESXI не получилось, не дает сделать изменение на pass-through. Приложенную инструкцию сейчас читаю. Конечно нужно немного разобраться, где там чего в файл добавить, но если получиться обязательно опишусь. Это было бы даже лучше чем через плату PCIE, так как и скорость не резалась бы. И с учетом того, что я собирал для домашнего использования и выбирал коробку для сервера мини-АТХ, слот на материнке PCIE всего один, возможно он бы мне ещё бы пригодился.

- ну только понимаете, да, что тогда проброшены в DSM будут ВСЕ диски, подключенные к этому SATA-контроллеру? Т.е. там уже не выбрать, что "вот эти два хочу в DSM, а эти - в ESXi под datastore...". Если нет M2 и не ставить дополнительный SATA-контроллер, то загружать ESXi придётся с USB-флешки (в общем-то, в этом ничего страшного - нормально работает) и на ней же размещать datastore (это тоже решается), ну или с внешнего USB-HDD.

[Redbarrakuda]

8 часов назад, dj_nsk сказал:

- ну только понимаете, да, что тогда проброшены в DSM будут ВСЕ диски, подключенные к этому SATA-контроллеру? Т.е. там уже не выбрать, что "вот эти два хочу в DSM, а эти - в ESXi под datastore...". Если нет M2 и не ставить дополнительный SATA-контроллер, то загружать ESXi придётся с USB-флешки (в общем-то, в этом ничего страшного - нормально работает) и на ней же размещать datastore (это тоже решается), ну или с внешнего USB-HDD.

 

С этим всё в порядке, у меня на материнке (ASUS ROG Strix B660-I Gaming) два M2, использую пока один, NVME на 1TB. Установил на него ESXI и под datastore использую.

 

[Redbarrakuda]

Установил плату ASM 1166 на pcie на 6 портов, в ESXI определилась сама без проблем, далее пробросил её в DSM. 

 

 

 

 

 

 

 

 

Edited April 3, 2023 by Redbarrakuda

[dj_nsk]

15 часов назад, Redbarrakuda сказал:

Установил плату ASM 1166 на pcie на 6 портов, в ESXI определилась сама без проблем, далее пробросил её в DSM.

поздравляю! 

Если плата бралась с Алиэкспресса, то советую перед полноценным рабочим использованием "погонять" её в тестовом режиме с максимальной загрузкой: воткнуть все 6  дисков (можно разных, какие удастся на время найти), собрать их в RAID, позаписывать и поскачивать большие объёмы данных несколькими одновременно выполняющимися задачами, и т.п. У меня был печальный опыт с контроллером с Алиэкспресса - на одном подключенном диске он работал прекрасно, а при подключении второго начинал через некоторое время выдавать сбои (хорошо хоть данные не потерял). Пришлось взять из более официальной конторы.

 

[rtfm]

Чтобы не плодить темы.

Ну вот и я наконец то добрался до стенда.

Докладываю.

При использовании TCRP ничего не получается.

Какие ошибки.

Если использовать версию 0.9.4.3 то DSM либо не видит дисков либо не может их отформатировать. Качал img c перекодированием в флат. Про такие симптомы читал на форуме рекомендуют использовать 0.9.3. Но у меня почему то эта версия обновляется до последней, как только выпускаю в интернет, и все тоже самое по кругу. Возможно далее допилят но пока так.

Пробовал с пяток раз и так и эдак все не получается.

При использовании ARPL.

Версия 1.1b2. Качал сразу образ флат в архиве.  Встало все сразу. Никаких проблем вообще. Где-то читал что надо подсовывать сразу все диски( тут на форуме) т.к. потом DSM не увидит диски. Тут все ок. И даже более. Диски становятся по порядку портов. И после перезагрузки не меняют положения.

Пока на стенде подключил 9 дисков. Не нашлось более кабеля питания. Все вроде как работают.

Смарт считывается.

Вопрос к

В 04.04.2023 в 14:32, dj_nsk сказал:

Если плата бралась с Алиэкспресса, то советую перед полноценным рабочим использованием "погонять" её в тестовом режиме с максимальной загрузкой: воткнуть все 6  дисков (можно разных, какие удастся на время найти), собрать их в RAID, позаписывать и поскачивать большие объёмы данных несколькими одновременно выполняющимися задачами, и т.п. У меня был печальный опыт с контроллером с Алиэкспресса - на одном подключенном диске он работал прекрасно, а при подключении второго начинал через некоторое время выдавать сбои (хорошо хоть данные не потерял). Пришлось взять из более официальной конторы.

 

Если не секрет какой был контроллер, чип, тип pcie. ?

[dj_nsk]

2 часа назад, rtfm сказал:

Если не секрет какой был контроллер, чип, тип pcie. ?

• тот, что брал на Алиэкспрессе (работал, но глючил при подключении второго диска😞 2 порта SATA 3,0-PCIe Marvell 9125
• тот, который брал в России (прекрасно работает): ExeGate EXE-503, PCI-E (EX283710RUS) Marvell 88SE9215

[rtfm]

15 часов назад, dj_nsk сказал:

• тот, что брал на Алиэкспрессе (работал, но глючил при подключении второго диска😞 2 порта SATA 3,0-PCIe Marvell 9125
• тот, который брал в России (прекрасно работает): ExeGate EXE-503, PCI-E (EX283710RUS) Marvell 88SE9215

Спасибо.

 

Я брал асмедиа 1166, т.к. остальные довольно ранних разработок. Вторые сутки с ним проблем нет. И наверное зря я волновался по поводу 10 дисков. Китайцы как то умудрились втиснуть все это в один чип. На подобных в платах в никсе в описании 2 чипа. Вот к примеру.  На той что я брал один чип. Что в win что в esxi видится только один чип. Хотя по судя по фото из никса это одна и та же палата. 

 

Напишу вот еще что. После установки vmware tools esxi ругнулась, что я не не правильно выставил тип виртуальной машины. Вместо другого линукса с 5м ядром надо выставлять с 4м. Other 4x Linux.

 

[rtfm]

Разобрал стенд.

Снял с платы радиатор. И да на плате 2 чипа. asmedia 1166 и jmb 575. Волшебства нет. 575 чип довольно древний 2013 года, но его и не видать в устройствах. Взят я так понял для расширения сата слотов.

[dj_nsk]

3 часа назад, rtfm сказал:

Я брал асмедиа 1166, т.к. остальные довольно ранних разработок. Вторые сутки с ним проблем нет. И наверное зря я волновался по поводу 10 дисков.

1 час назад, rtfm сказал:

И да на плате 2 чипа. asmedia 1166 и jmb 575. Волшебства нет. 575 чип довольно древний 2013 года, но его и не видать в устройствах. Взят я так понял для расширения сата слотов.

Наверное, высокую скорость для всех дисков эта конструкция не обеспечит, pci-e 4x - это до 1000 Мбайт/c, т.е. по 100Мб/с на диск, ну и решение на jmb 575 тоже видимо свою лепту внесёт. Не знаю, будет ли это критично под ваши задачи, но учитывать надо

 

[rtfm]

2 часа назад, dj_nsk сказал:

Наверное, высокую скорость для всех дисков эта конструкция не обеспечит, pci-e 4x - это до 1000 Мбайт/c, т.е. по 100Мб/с на диск, ну и решение на jmb 575 тоже видимо свою лепту внесёт. Не знаю, будет ли это критично под ваши задачи, но учитывать надо

 

Этого вполне за глаза. Если вся конструкция будет выдавать 500мб/с то буду очень рад. Делается для утилизации нескольких десятков хдд. И выкинуть их рука не подымается и использовать уже где бы то уже нет смысла. Многие из них сата2. Пусть доживают свой век в виде хранилища для всякого домашнего.