Перевод DSM: железо -> виртуалка... и обратно

[uropek]

2 часа назад, dj_nsk сказал:

А что вы от неё планировали получить в DSM? Для аппаратного транскодинга (DS918/920) надо пробрасывать iGPU (если он есть). У меня проброшен, но работает в виртуальной DSM странно: есть папка /dev/dri, отлично работает аппаратное ускорение в установленном Jellyfin, но не работает в "родных" пакетах Synology- Photos и VideoStation. Так и не смог это пока победить

Дискретную видеокарту можно попробовать пробросить в другую виртуалку (например, у меня Nvidia проброшена в виртуальную винду и прекрасно там работает как полноценная видюшка, даже монитор подключается)

Я у себя решил не мучатся а купил GTX 1650 и загрузчик с DVA поставил, хотя до этого RTX 3060 пробовал - костыли были да и ИИ в SS не работал.

[dj_nsk]

5 часов назад, uropek сказал:

Я у себя решил не мучатся а купил GTX 1650 и загрузчик с DVA поставил, хотя до этого RTX 3060 пробовал - костыли были да и ИИ в SS не работал.

мне не для SS надо, а для фильмов и фото (DS920+) - DVA, как понимаю, с ними не работает. Проблему с фильмами решил установкой Jellyfin, а вот с долгими индексацией видео и распознаванием лиц в Photos решить не смог - просто жду (даже проверял - если вместо виртуалки ту же самую DSM перезагрузить в режиме baremetal, то транскодинг в VideoStation работает, Photos индексирует очень быстро). Т.е. DSM как-то различает ситуацию между работой в виртуальной среде с проброшенным iGPU и работу в "железном" варианте.

[Arabezar]

@dj_nsk, всё нормально. Я надеялся на включение транскодинга. Не судьба. Когда заменю проц на оный с графикой (сейчас i3-9100F), тогда и пересоздам/переконфигурирую загрузчик для появления транскодинга. Дискретное видео у меня встроено в мать (на Supermicro без него IPMI не работает), оно очень слабое, чтобы имелся смысл пробрасывать.

 

Наконец, ESXi 8.0.2 переустановил с параметром systemMediaSize=min, размер VMFSL - 24 ГБ вместо 120 ГБ, уже лучше.

После переконфигурирования Arc, DSM включился, как ни в чём не бывало.

Разумеется, не всё гладко:

* UPS отвалился, его надо как-то научиться пробрасывать (USB)

* Zigbee-донгл отвалился. Но и Home Assistant хочу теперь под виртуалкой вместо докеров

* IP-адрес машины очевидно поменялся. Теперь на железку смотрит ESXi Web-клиент, перенаправления на роутере восстановил.

* LDAP-сервер тоже очевидно поменял IP-адрес, который пришлось менять в DNS-сервере

* Очевидно, отвалился пул ресурсов хранения M.2 SATA-диск с VMM-виртуалками (предварительно экспортированными), на его месте теперь M.2 NVMe с ESXi, пробрасывать его смысла нет.

* Из-за отвалившегося пула хранения (SSD) весь пакет VMM - одна сплошная ошибка на ошибке, и теперь совсем бесполезен, сношу, как недоразумение (при наличии ESXi).

* Перестал работать SS (Surveillance Station), ваще не грузится.

* DSM Update 3 для 7.2.1-69057 не подхватился, я думал, что DSM сразу предложит обновить, но это уже мелочи, с которыми пока сам не разобрался. Главный вопрос - обновляться-то можно? Из DSM прям или както ещё?

* Какие задержки/параметры выставлять для виртуалки DSM в параметрах виртуалки ESXi (Start delay, Stop delay, Stop action - Default/Power off/Shut down)?

 

В планах:

* Производительность пока не тестировал, но обязательно сделаю

* Развёртываю виртуалки из экспортированных

* В конце концов надо будет собрать воедино все изменения и описать более детально под свою инсталляцию, мало ли, кому пригодится.

Edited January 9 by Arabezar

[dj_nsk]

1 час назад, Arabezar сказал:

UPS отвалился, его надо как-то научиться пробрасывать (USB)

пробросить в виртуальную DSM - без проблем: Edit - Add other device - USB device ... А научить на него реагировать ESXi - как я уже раньше писал.

1 час назад, Arabezar сказал:

Перестал работать SS (Surveillance Station), ваще не грузится

странно. У меня работает (но у меня - DS920)

1 час назад, Arabezar сказал:

DSM Update 3 для 7.2.1-69057 не подхватился, я думал, что DSM сразу предложит обновить, но это уже мелочи, с которыми пока сам не разобрался. Главный вопрос - обновляться-то можно? Из DSM прям или както ещё?

update 3 - из необязательных, его Synology по какой-то своей логике предлагает к обновлению. Если предложит, то можно прямо из вебинтерфейса DSM сделать (или скачать нужный .pat файл и выполнить "обновление вручную" оттуда же), загрузчик Arc автоматически это обработает. Одно из преимуществ решения с ESXi - все обновления сначала можно проверять на тестовых виртуалках DSM.

 

[XPEH]

35 minutes ago, dj_nsk said:

Одно из преимуществ решения с ESXi - все обновления сначала можно проверять на тестовых виртуалках DSM.

Или сделать снапшот виртуалки, проверить изменения а потом или откатить обратно или закрепить (удалить снапшот) если все работает. Долго снапшоты держать не желательно, начинает тормозить.

[Arabezar]

3 hours ago, dj_nsk said:

update 3 - из необязательных, его Synology по какой-то своей логике предлагает к обновлению. Если предложит, то можно прямо из вебинтерфейса DSM сделать

Супер! Попробовал, вроде нормально всё прошло. Перегрузился сам, версия в Информационном центре обновилась.

 

3 hours ago, XPEH said:

Или сделать снапшот виртуалки, проверить изменения а потом или откатить обратно или закрепить

Тоже отличная идея! Беру на вооружение. Спасибо.

 

1. Я тут переносить виртуалки начал.

Импортировал 2 штуки с Windows 11, восстановил MAC-адреса, добавил CD-ROMы.

Виснут при старте. Вылечилось заменой сетевого адаптера E1000 -> E1000e

... пока не поменял в опциях на Windows (ранее было Other x64), образ VMware Tools не подключался.

... пока не обновил совместимость до 8.0.2, Windows 11 отсутствовала, только Windows 10.

Запустились, работают.

Теперь другая напасть: виртуалка работает, но к ней нельзя подключиться (чёрный экран и Failed to connect - в консоли браузера). Заснула что ль? Как её разбудить? Флаг "Wake on LAN" установлен, обращение к VM не пробуждает её

 

2. Жесть какая-то. Решил поставить VMware Tools в DSM. Ставлю вручную пакет open-vm-tools_apollolake-7.1_12.3.0-1.spk

Нажимаю "Установить"... и у меня перестают отображаться все пакеты в разделе "Все пакеты"! Куда они делись? Я что-то не так сделал?

 

UPD:

1. Помогает Suspend -> Power on. Операция быстрая, но не всегда ж так перед работой в виртуалке! Есть какие идеи?

2. Пакеты опять появились. Ложная тревога.

Edited January 9 by Arabezar

[Arabezar]

Попытался написать в другой ветке (Установка DSM7 на ESXI) на тему необычного поведения виртуалок, меня оттуда прогнали ((

В принципе, так и есть, это уже не установка, а больше относится к использованию ESXi.

Сюда пишу, т.к. топик предполагает все виды работ по переносу железного DSM в виртуальный. И любые косяки, мешающие этому переносу здесь обсуждать можно и нужно. ))

 

Итак, я установил ESXi, импортировал пару виртуалок Win 11, экспортированных и работавших ранее под VMM, добился того, чтобы они запускались (пришлось заменить сетевой адаптер с E1000 на E1000e, иначе виснет), установил VMware Tools... виртуалки прекрасно работают, но...

... после некоторого времени неактивности засыпают... и перестают быть доступными по RDP.

 

Нашлось несколько вариантов решения проблемы:

* передёрнуть виртуалку в ESXi Web-клиенте (Suspend -> Power on)

* дёрнуть из роутера (Keenetic) - "Разбудить по сети"

* в некоторых RDP-клиентах есть возможность перед соединением попытаться разбудить комп по WOL, в частности в mRemoteNG перед запуском соединения запускается команда WakeMeOnLan /wakeup %HOSTNAME% (источник: https://i12bretro.github.io/tutorials/0292.html)

* кардинальное решение - отключение засыпания виртуалки в самой виртуалке

 

Если кто может ещё что предложить - вэлком.

[Arabezar]

Итак,

* Все виртуалки перенесены из VMM через Syno Export/ESXi Import, работают отлично

* Скорость чтения с SSD (был SATA III, стал NVMe 3.0) выросла в 2 раза, а записи - в 4

* Засыпание виртуалок побеждено. Для тех, кто должен крутиться постоянно и быть доступен извне - засыпание отключено в самой гостевой системе;  для тех, кому можно засыпать и они в локалке - mRemototeNG + WOL-утилита

* UPS: на Syno-виртуалку в настройках ESXi добавлен USB, Syno его сразу распознала; на ESXi установлен NUT Client, настроен, запущен, протестирована связь с Syno

* Surveillance Studio: пакет удалён без удаления данных и настроек, переустановлен, настроен в порталах, работает без проблем. Что это было? ХЗ.

* Лишние теперь пакеты с дровами под Home Assistant удалены, скрипты и докеры подчищены

 

Spoiler

 

Самое интересное, что при доступе к интерфейсу управления ESXi по IP-адресу консоли в браузере работают.

Я же подвесил интерфейс управления ESXi через обратный прокси на внешний домен по https://... и браузерные консоли отсюда не открываются, хотя картинка присутствует. Пока не понял, как это победить.

 

[rtfm]

В 07.01.2024 в 19:58, Arabezar сказал:

* ESXi 8.0.2 не хочет ставиться на Legacy BIOS USB, только EFI, о чём нашёл упоминание в их KB (knowledge base), предварительно потеряв пару часов

Не знаю как в 8ке в 6ке была хитрость. Если ставить на диск менее 2 тб то наличие efi необязательно. Но хитрость была в том, что кроме этого диска других быть не должно. т.е. если у вас в системе 2 диска один 256гб а второй 4 тб. то поставить не удастся. Убираете 4тб и ставите esxi. После подключаете и esxi с ним нормально работает. Если материнка новая и на ней есть efi то лучше так не делать, т.к. этот фокус был для переходных систем когда efi еще не появилась, а поддержка из bios дисков более 2тб была.

[Arabezar]

1 hour ago, rtfm said:

Убираете 4тб и ставите esxi

КМК не помогло бы, тут другое...

Spoiler

 

Совсем чуток до конца установки не доходит, там пару небольших модулей остаётся. Но тот, что вызывает ошибку - большой.

 

Edited January 16 by Arabezar

[Arabezar]

Очередная неожиданная проблема - работает себе виртуалка Windows 11 под ESXi, работает с загрузкой проца на 5%... а потом внезапно подлетает до 100% и уже не опускается ниже.

Несколько раз уже замечал. Появляется раз в два дня.

 

Самый загружаемый процесс - Служба установки Microsoft Store, за ней идёт ещё набор локальных служб (см. картинку), причём с активнейшим обращением к диску, что для SSD не есть хорошо)

Spoiler

Виртуалка:

 

Монитор для виртуалки:

 

Монитор всего хоста:

 

Лечится остановкой "Службы установки Microsoft Store" или перезагрузкой виртуалки.

Может, как-то по-другому можно?

Кто сталкивался и как лечили?

Edited January 25 by Arabezar

[Arabezar]

Протестировал изменение производительности (CPU + SSD) переносимых виртуальных машин при переносе DSM 7.1.2 VMM -> ESXi 8.0.2U.

Напомню про железо: Supermicro MBD-X11SCL-iF + Intel Core i3-9100F + 32 GB DDR4 + SSD для виртуалок.

Под VMM был SSD SATA III, Intel 545s, 512 GB, убрал его из системы, т.к. всего один M.2 разъём, поддерживающий и SATA и NVMe, поставил NVMe 4x4, Samsung PM9A1, 1 TB (реально PCIe 3, а не 4, т.к. мать больше не держит).

Spoiler

Тестировал на 2х виртуалках.

1. Windows Server 2012R2 (4 vCPUs + 16 GB)

CPU Было -> Стало (прирост 18%)

 

SSD Было -> Стало

 

2. Windows 11 (1 vCPUs + 2 GB)

CPU Было -> Стало (прирост 50%)

 

SSD Было -> Стало

 

В целом я доволен.

По CPU (тесты в браузере) показали прирост от 18 до 50%, здесь исключительно заслуга ESXi.

По SSD (CrystalDiskMark) - от 100 до 400% прироста (большие файлы) по чтению и от 300 до 6000% по записи. Это и понятно - VNMe рулит! Здесь ещё сказалось ограничение матери (PCIe v3), а то б ещё круче было бы.

 

[use-nas]

3 часа назад, Arabezar сказал:

здесь исключительно заслуга ESXi.

С каких это пор прокладка стала обеспечивать прирост?

 

3 часа назад, Arabezar сказал:

Это и понятно - VNMe рулит!

Вот NVME  и обеспечил прирост, а не прокладка.

[XPEH]

1 hour ago, use-nas said:

С каких это пор прокладка стала обеспечивать прирост?

Прирост по сравнению с тем, что было. Естественно, любой эмулятор (гипервизор) сьедает часть производительности, хотя и слегка компенсирует потери за счет эффективного кэширования.

У ESXi меньше потерь и выше КПД, чем у других систем виртуализации, в частности VMM.

К тому-же VMM в виртуалке на ESXi несла еще большие потери из-за двойной, менее эффективной эмуляции.

 

 

[Arabezar]

5 hours ago, use-nas said:

С каких это пор прокладка стала обеспечивать прирост?

VMM оказался медленнее такого монстра, как ESXi, что ожидаемо.

 

3 hours ago, XPEH said:

К тому-же VMM в виртуалке на ESXi несла еще большие потери из-за двойной, менее эффективной эмуляции.

Не было двойной эмуляции, DSM раньше стояла прямо на железке. Но в общем, Вы правы с выводами.

 

5 hours ago, use-nas said:

Вот NVME  и обеспечил прирост, а не прокладка.

Не путайте мух с котлетами. Увеличение производительности CPU - полностью за счёт ESXi, NVMe вообще не участвует в тесте, а увеличение производительности SSD - за счёт NVMe, про ESXi я здесь ничего не писал.

[use-nas]

2 часа назад, Arabezar сказал:

Не путайте мух с котлетами. Увеличение производительности CPU - полностью за счёт ESXi

Ну пчел с медом тоже не нужно путать... в ESXi процессор может бустить к примеру, а в VMM нет.

Хотя мне уже не интересен ESXi, попробовал, поигрался.. не стабильная система, может только у меня на тестах х.з

[Arabezar]

2 hours ago, use-nas said:

в ESXi процессор может бустить к примеру, а в VMM нет

Да без разницы, важно, что причиной является использование ESXi вместо VMM. ))

 

2 hours ago, use-nas said:

ESXi, попробовал, поигрался

У меня исключительно положительные эмоции по сравнению с глюками VMM, возможностями работы с виртуалками и невозможностью DSM из коробки работать с NVMe (как хранилище) на голом железе. У каждого свои приоритеты.

Edited January 30 by Arabezar

[uropek]

3 часа назад, use-nas сказал:

Хотя мне уже не интересен ESXi, попробовал, поигрался.. не стабильная система, может только у меня на тестах х.з

В чем именно не стабильная? В работе с DSM или в общем?

[Arabezar]

On 1/25/2024 at 4:23 PM, Arabezar said:

Лечится остановкой "Службы установки Microsoft Store" или перезагрузкой виртуалки

Это лечение было временным.

Кардинальное решение - отключение "Microsoft Store" в реестре или групповой политике

Правда, пока не ясно, что делать, если этот Store необходим...

[rtfm]

В 09.01.2024 в 03:55, dj_nsk сказал:

с проброшенным iGPU и работу в "железном" варианте.

А нет опыта проброса видюх от интела? Тут оказывается их уже довольно много, и они все довольно производительные. Может с ними как то заладится.

[Arabezar]

9 minutes ago, rtfm said:

А нет опыта проброса видюх от интела?

Тут вопрос - для чего именно нужна видяха.

Насколько мне известно, для транскодинга, т.е. для обработки фото и видео контента DSM, возможно использовать только GPU.

Если требуется погонять в какую игруху в виртуалке, то видюху пробрасывать в саму виртуалку, и здесь проблем я вообще не вижу.

Мой сервер NAS используется для DSM, Home Assistant и нескольких виртуалок, не требующих видео ресурсов, поэтому мне любая дискретка не актуальна.

Edited February 20 by Arabezar

[KorPhaeron]

В 11.10.2023 в 19:58, dj_nsk сказал:

подключить рабочие диски

Все ли я верно делаю?

 

Создал DSM в виртуалке, потестил, она установилась, все ок.

 

Выключил все, воткнул обратно HDD, пересоздал виртуалку, а при загрузке DSM он пишет "нет доступых дисков". Сата контроллер вроде как проброшен, может быть где-то нужно ткнуть настройку в виртуальной машине, чтобы он увидел старый хдд?

 

Edited April 22 by KorPhaeron

[dj_nsk]

2 часа назад, KorPhaeron сказал:

Сата контроллер вроде как проброшен

а как вы его пробрасывали? Нужен не виртуальный SATA-контроллер, а именно проброска (Passthrough).

 

Если он у вас - на отдельной PCIe плате, то:

1) Host / Manage / Hardware - найти нужный контроллер и нажать на нём Toggle passthrough (должен поменяться статус в соответствующем столбце)

2) выключить виртуальную машину, Edit settings / Add other device / PCI device , промотать до строки New PCI device и указать в ней свой контроллер. Save

Теперь можно запускать. Но ещё раз обращаю внимание - при этом доступ ко ВСЕМ дискам, подключенным к этому контроллеру для самоё ESXi будет невозможен! (поэтому я ESXi устанавливал на выделенный NVME)

 

Если контроллер - встроенный, то перед описанными действиями надо разрешить его проброску (см. https://www.programmersought.com/article/53224542504/): 

i)    Узнать через SSH данные: 
lspci -v | grep "Class 0106" -B 1
(например, …Class 0106: 8086:8d02)
ii)    Отредактировать через WinSCP файл /etc/vmware/passthru.map – добавить строку:
8086   8d02    d3d0    false
e)    Перезагрузить сервер ESXi

после этого - подключение к ВМ, как описано выше

 

Edited April 22 by dj_nsk

[KorPhaeron]

11 минут назад, dj_nsk сказал:

а как вы его пробрасывали?

Так вот ткнул passtrhough, но контроллер у меня встроенный, но почему-то и там он спокойно переключился в Active. Сейчас через SSH попробую то, что описано ниже.

 

P.S. Ссылка нерабочая на сайт.

[KorPhaeron]

14 минут назад, dj_nsk сказал:

Отредактировать через WinSCP

Только вот что мне выдал SSH:

 

А вот что passthru.map показывает:

 

 

Куда мне нужно что-то добавить?

 

Извините за тупость, для меня это прям вновинку(((