Перевод DSM: железо -> виртуалка... и обратно

[Arabezar]

2 hours ago, dj_nsk said:

вообще-то это надо не в DSM под SSH выполнять, а в самом сервере ESXi (вроде значения везде должны быть одни и те же, но всё же лучше будет перепровериться в ESXi).

Разумеется, запускать надо из под Сферы, но железо-то то же... поэтому и хочу заранее все грабли обнаружить.

2 hours ago, dj_nsk said:

если в CPU сейчас нет графики, то вы её и не пробросите ... прелесть используемого мной подхода - даже если вам потом потребуется заменить проц и пересоздать виртуальную машину, это займёт 5 минут, при этом диски с данными DSM никак не будут затронуты

Супер! Подходит ))

2 hours ago, dj_nsk said:

VM-Tools дают дополнительные возможности взаимодействия виртуалки с самим гипервизором ESXi

Это понятно. Для VM-Tools-Windows даже сомнений нет, - must have,  а вот synology-dsm-open-vm-tools - это несколько другое, даже источник - не VMWare, откуда его собирают? Есть даже пакет на SynoCommunity, но он старше того, что идёт с Arc-ом.

Хотя теперь понятно, - тоже must have для как минимум для управления питанием (ещё USB для APC SmartUPS надо будет пробрасывать)

[XPEH]

19 minutes ago, Arabezar said:

Для VM-Tools-Windows даже сомнений нет, - must have,  а вот synology-dsm-open-vm-tools - это несколько другое, даже источник - не VMWare, откуда его собирают?

Собирают из открытого кода для многих платформ. В ARC .vmdk образах уже есть основные драйверы для ВМ устройств (диски и сеть), что снижает абсолютныю необходимость, но все равно полезно поставить.

[Arabezar]

Пришёл мне мой винт, в следующие выхи буду переводить всё на ESXi...

Теперь думаю, как буду оценивать изменение производительности в каких-нить попугаях... под виртуалками Windows и под DSM. В первом случае будет 2 варианта: Windows 11 и Windows Server 2012R2/2019 (графика не важна, только производительность вычислений и дисковой подсистемы... повторюсь, достаточно в попугаях... всё равно потом сравнивать то, что стало с тем, что было). Во втором случае - какой-нить скрипт под Linux. Посоветуйте проги для Windows и Linux, соответственно. Под Linux можно и консольный скрипт какой-нить, совсем не обязательно с GUI. Параметры виртуалок при переходе из VMM под ESXi постараюсь по возможности не менять.

Под Windows 11/2012R2 попробовал:

• Общие тесты. UserBenchmark... и знаете... он запустился... мало того - протестировал систему! Сказал, что отсутствует CPU, GPU и SSD, и выдал честные Gaming 0%, Desktop 0%, Workstation 0% ))) В общем, 0 попугаев. Прога не подходит.
• Тест дисков. Пожалуй, остановлюсь на CrystalDiskMark, его будет вполне достаточно для сравнения ДО и ПОСЛЕ
• Тест проца онлайн. Главное, тестировать ДО и ПОСЛЕ при тех же параметрах виртуалки и в том же браузере. Разумеется, очень точных параметров не жду, но приблизительно - очень даже. Можно сохранить ссылку на тест и посмотреть его позднее.
• Ещё один. Ссылки на пройденный тест нет, выдаёт просто число в попугаях.
• И ещё один. Очень быстрый в отличие от двух предыдущих. Тоже нет ссылки, только число в попугаях.
• AIDA64 тоже чёт не зашла. Слишком всё там мудрёно, мне - чем проще, тем лучше.

Все ссылки на тесты нашёл здесь, кому интересно.

Как поменяю архитектуру и сделаю тесты повторно, расскажу про результаты.

 

Подскажите, пожалуйста, утилиту/скрипт теста в попугаях проца/диска под Linux (в терминалке DSM буду гонять).

Edited October 28, 2023 by Arabezar

[XPEH]

1 hour ago, Arabezar said:

Параметры виртуалок при переходе из VMM под ESXi постараюсь по возможности не менять.

Под ESXi надо будет поставить VMTools вместо Guest tools от VMM. Драйверы на сеть и дисковую систему поменяются.

[Arabezar]

10 hours ago, XPEH said:

Драйверы на сеть и дисковую систему поменяются

Разумеется, абсолютно не менять ничего не получится.

Вот и посмотрим, насколько виртуалки и сама DSM отличаются по скорости работы в новых условиях.

Разумеется, чисто субъективно. Тут важна статистика.

Для Windows-виртуалок план тестирования есть (см. пост выше), а вот про Linux-скрипты ничего не знаю.

 

Только что нашёл, что в DSM 7 появились инструменты тестирования производительности дисков (Диспетчер хранения/HDD\SDD/Диск/Действия/Тест производительности), которых не было в DSM 6. Как мне показалось, тестирование крайне медленное. Но хоть что-то.

Осталось найти как тестировать проц. Что-то типа sysbench, например. Только его надо ставить...

[XPEH]

3 hours ago, Arabezar said:

Только что нашёл, что в DSM 7 появились инструменты тестирования производительности дисков

Пробовал несколько раз на разных машинах, включая оригинальные сино. Внятных результатов ни разу не дождался.

[Olegin]

3 минуты назад, XPEH сказал:

Пробовал несколько раз на разных машинах, включая оригинальные сино. Внятных результатов ни разу не дождался.

Лучше чем ничего...

Спойлер

 

[Arabezar]

58 minutes ago, XPEH said:

Внятных результатов ни разу не дождался

Диск около получаса тестируется. Плюс-минус.

[Arabezar]

On 10/11/2023 at 7:58 PM, dj_nsk said:

5)      Попадаем в меню загрузчика Arc через консоль ESXi, по SSH или через браузер (http://<IP>:7681) – настраиваем загрузчик (в минимальном варианте достаточно выбрать модель и версию DSM, после чего на все вопросы нажимать Enter), build, reboot

А вот сейчас подумал... у Arc есть расширения/патчи, которые вносят изменения в приложения DSM. Я так понимаю, все надо отключить сначала, а уж при подсоединённых дисках включить заново? Как поступить лучше?

[mrrc]

В 11.10.2023 в 17:34, dj_nsk сказал:

UPD: и ещё UPS подключил через USB - к рабочей виртуальной DSM, а ESXi - к NUT серверу на той же DSM, в итоге ESXi умеет отключаться по сигналу от UPS

Ой, я для этих целей дополнительный FreeBSD поднял в Esxi для сервера NUT, а в DSM действительно же он уже на борту.

В Esxi 6.5.0 Update 3 (Build 18678235) у меня добавлен Network UPS Tools client for VMware ESXi 5.0-8.0 2.8.1-2.6.1

А как вы сервер NUT в DSM настраивали, можно подробнее?

Сервер сетевого ИБП включен, разрешенные адерса устройств для обращения добавлены.

Где он там рабочую конфигурацию хранит? Если редактирую в /etc/ups/*.*, то после рестарта DSM сделанные настройки в upsmon.conf теряются.

При этом esxi рапортует об успехе подключения:

2023-12-18T18:34:16Z upsmon[95007]: Communications with UPS ups@192.168.210.214 established

Но отключение питания при этом не видит в упор. Собственно как и сам DSM, хотя проброшенный в DSM Smart-UPS-750 видит отлично.

 

В общем я что-то недопонимаю со связкой DSM(NUT)-ESXi, поделитесь своей практикой, пожалуйста.

DSM 7.2.1-69057 Update 3\DS3622xs+

Edited December 18, 2023 by mrrc

[dj_nsk]

В 19.11.2023 в 06:33, Arabezar сказал:

А вот сейчас подумал... у Arc есть расширения/патчи, которые вносят изменения в приложения DSM. Я так понимаю, все надо отключить сначала, а уж при подсоединённых дисках включить заново? Как поступить лучше?

Вопрос не понятен   Что "всё" сначала надо отключить? О каких именно патчах и приложениях вы беспокоитесь? (если устанавливаете Arc по умолчанию, то никаких изменений в приложениях DSM не будет)

 

8 часов назад, mrrc сказал:

А как вы сервер NUT в DSM настраивали, можно подробнее?

процитирую свою собственную инструкцию (записывал, чтобы была возможность повторить при необходимости, но сейчас не проверял, насколько она актуальна и не нужны ли поправки/исправления - скорее всего никаких критичных изменений не требуется):

Спойлер

a)       Подключить USB от бесперебойника к ВМ

b)      Установка:

 i)       На DSM – Включить сервер сетевого ИБП, добавить Разрешенные устройства (IP ESXi сервера192.168.0.xxx)

 ii)      esxcli software acceptance set --level=CommunitySupported

 iii)     Самая свежая (отсюда брать скрипт и инструкцию по его установке): http://rene.margar.fr/2012/05/client-nut-pour-esxi-5-0/

          Скачать NutClient-ESXi-2.8.0-2.4.1.x86_64.tar.gz, скопировать в /tmp

          cd /tmp

          tar -xzf NutClient-ESXi-2.8.0-2.4.1.x86_64.tar.gz

          sh upsmon-install.sh

 iv)     Инструкция для Synology (здесь есть имена пароли DSM): https://blog.rylander.io/2017/01/15/connect-a-esxi-6.5-host-to-a-ups-connected-to-a-synology-nas/  - Проверить/изменить Host/Manage/System/Advanced settings: 

  (1)    UserVars.NutUpsName: ups@192.168.0.[DSM IP] UPS name on remote NUT server

  (2)    UserVars.NutUser: monuser Имя учетной записи для подключения к серверу NUT

  (3)    UserVars.NutPassword: secret Пароль учетной записи для входа на сервер NUT

  (4)    UserVars.NutFinalDelay: 5 Секунды, которые потребуются после получения события низкого заряда батареи, чтобы завершить работу системы

  (5)    UserVars.NutOnBatteryDelay: 0 Задержка в секундах после начала включения ИБП от батареи для выключения системы. Если значение равно 0, то клиент NUT будет ждать события низкого заряда батареи, чтобы завершить работу системы. Значение по умолчанию равно 0, это нормальная работа, позволяющая поддерживать работу системы как можно дольше.

 (6)    UserVars.NutSendMail: 0 Установить значение 1, чтобы клиент NUT отправлял электронное письмо при каждом важном событии ИБП.

 (7)    UserVars.NutMailTo: Адрес электронной почты, на который можно отправлять сообщения о событиях ИБП.

 (8)    UserVars.NutMinSupplies: 1 .

 v)       Проверить Host/Manage/Packages – upsmon,

 vi)     Запустить Host/Manage/Services – NutClient; Actions/Policy – Start and Stop with host

c)       Проверка:

cd /opt/nut/bin/

./upsc ups@192.168.0.100

 

[mrrc]

2 часа назад, dj_nsk сказал:

процитирую свою собственную инструкцию

Да собственно так все и сделано, подключение и диагностика подключения к nus-серверу на DSM со стороны esxi проходит. Но DSM не реагирует при отключении питания, соответственно и клиент nut в esxi не видит изменений состояния. DSM незамедлительно обнаруживает только отключения\подключения сигнального кабеля между ups и dsm, но никак не его состояние. Странно, первоначально прокинутый ups в виртуалку с dsm работал же..

В общем надо поразбираться, попробовать без виртуализации, тут вопрос больше к DSM по работе с конкретным ups уже.

Edited December 19, 2023 by mrrc

[dj_nsk]

1 час назад, mrrc сказал:

Но DSM не реагирует при отключении питания,

т.е. он не видит, что UPS перешёл на батарею? Если отключить от UPS 220В  и посмотреть в Панель управления/Оборудование и питание/ ИБП/ Информация об устройстве - что пишет?

[mrrc]

4 минуты назад, dj_nsk сказал:

т.е. он не видит, что UPS перешёл на батарею?

Именно так, как ни странно.

 

Если отключить питание, DSM продолжает считать, что ничего не произошло, в этом и непонятка. Хотя физическое подключение\отключение самого девайса видит прекрасно. Интересно, что в начале все было штатно.

[rtfm]

Всем добра.

Извиняюсь если кто на это отвечал а я повторяюсь. Т.к. тему читал по диагонали, а она требует вдумчивого чтения.

По поводу связки NUT сервера на виртуалке и ДСМ.

Есть пару тонкостей. Во всяком случае у меня именно так работает без проблем.

Т.к. ранее был железный сино, то ставилось отключаться по низкому заряду батарей.

В виртуалке надо чтобы esxi выключался ранее чем dsm.

Поэтому в dsm ставлю столько то секунд, а в esxi в параметре UserVars.NutOnBatteryDelay на минут 10-15 меньше.  Время беру из параметров ИБП которые указывают сколько времени он продержится с такой нагрузкой. И беру примерно 50-70% от заявленного.

Поэтому при отключении питания сперва завершится работа esxi.

Второй момент, по поводу логинов паролей. У меня работает и без этих паролей. Довольно корректно. Проверял со стороны esxi.

Ну и третий момент. по поводу vmware-tools.  Его можно ставить из репозитория сообщества. Он там есть. Но как говорилось и ранее обязательно применять команду sudo sed -i 's/package/root/g' /var/packages/open-vm-tools/conf/privilege из гитхаба

правда эта команда не сработает т.к. по этому пути нет ничего. Вот правильный путь  /var/packages/open-vm-tools-12/conf/privilege

Так вот если ставите вмтул из репозитория, то команду надо применять после каждого обновления тула!!!!!! иначе вмтул не пашет. После применения команды нужно ребутнуть службу вмтула, прямо в центре пакетов, остановить -запустить. Тогда все заработает как надо. Это важно для связки nut и dsm. Чтобы когда esxi завершает работу она корректно завершила работу dsm.

[Arabezar]

Наконец, дошли руки до апгрейда как железного (ставлю M.2 NVMe), так и софтверного (виртуализирую DSM, перетаскиваю виртуалки из VMM в ESXi).

Разумеется, возникла куча непредвиденных ситуаций... от не относящихся напрямую к переносу (обновление IPMI и BIOS - тот ещё квест с лицензией от Supermicro) до непосредственно касающихся... на них и заострю внимание:

* ESXi 8.0.2 не хочет ставиться на Legacy BIOS USB, только EFI, о чём нашёл упоминание в их KB (knowledge base), предварительно потеряв пару часов

* Лучший и самый быстрый SSH-клиент оказался Виндовый, остальные имеют кучу настроек и никак не хотели подключаться (я ни разу не спец) - что Bitvise SSH, которым я раньше успешно подключался к Сино, что экстеншен для Хрома (рекомендуемый самим ESXi). Чего только стОит редактирование конфигурационных файлов в ESXi редактором vi

* Несмотря на то, что процессор без графики, пробросил ASPEED VGA-графику с платы, посмотрим, что из этого выйдет.

* При создании виртуалки на основе ARC гостевую ОС ставил "Linux/Other 4.x Linux (64-bit)", от "Linux/Other (64-bit)" пришлось отказаться, там нет контроллера SATA. "Linux/Other 6.x or later Linux (64-bit)" тоже не стал указывать, ибо в наших DSM вроде 4.х.

* Сконфигурировал ARC, перегрузился, нашёл ассистантом... DSM не инсталлируется без дисков, нужен хотя бы один. Так что либо подключать реальный, либо создавать виртуальный обязательно.

 

UPD: Диски менее 21 ГБ лучше не подключать, - не сможет отработать мастер создания системы хранения, ибо DSM сразу резервирует чуть больше 10 ГБ на внутренние нужды, а остаться должно не менее 10 ГБ. Я для теста создал 50, всё равно он не выделяется полностью, а по мере наполнения, зато с мастером проблем нет.

Edited January 7 by Arabezar
UPD

[Arabezar]

Теперь встаёт резонный вопрос: а стОит ли "играться" с отключением дисков, кроме как для того, чтобы убедиться, что DSM под ESXi заработает без проблем?! Но это же можно сделать не подключая диски к виртуальной DSM. Всё равно при подключении дисков придётся заново переставлять/апгрейдить DSM на дисках.

 

Ещё один неприятный момент при установке ESXi, на который хочу обратить внимание. Скорее всего, сам сейчас буду заново переставлять ESXi, чтобы исправить. По умолчанию, на диске при установке ESXi создаётся раздел с VMFSL (для своих нужд) на 120 ГБ (зависит от полного размера диска, у меня 1 ТБ). Народ возмущается о расточительности использования места на диске. Есть процедура, снижающая размер VMFSL при установке.

 

Вопрос к знатокам VMware, насколько это критично для работы системы и каков минимальный размер на практике можно поставить для домашнего использования?

[uropek]

15 минут назад, Arabezar сказал:

Вопрос к знатокам VMware, насколько это критично для работы системы и каков минимальный размер на практике можно поставить для домашнего использования?

systemMediaSize=small

 

https://kb.vmware.com/s/article/81166

 

Он сам поставит минимальную, на работу никак не влияет, больший раз изначально сделать под производительные сервера, вряд ли у вас будет такая же производительность корпоративного уровня.

[Arabezar]

Видел эту ссылку... как раз по моей ссылке выше.

2 minutes ago, uropek said:

systemMediaSize=small

А как насчёт systemMediaSize=min?

Что я потеряю?

 

Да, Вы правы, домашний сервер - явно не корпоративного уровня ))

[uropek]

1 минуту назад, Arabezar сказал:

А как насчёт systemMediaSize=min?

Да именно min и имел ввиду, не то написал.

[uropek]

По поводу дисков вы там выше сообщение имеете ввиду прокинуть контроллер с дисками через passthrought или использовать datastore из самого esxi?

Я у себя прокинул целый контроллер и DSM полностью управляет дисками напрямую. В этом есть плюсы, что если нужно что-то переконфигурировать, заменить диск и тд - DSM это сделать нативно и напрямую. В то время как сервер делит dstastore и с другими ВМ и там уже так просто не получится сделат. Из самой DSM я отдал хранилище через iSCSi LUN столько сколько нужно для нужны ВМ. 

[uropek]

Но опять же нужно ли оно вам, я так понимаю сервер у вас чисто для DSM сделан? В моем случае сервер полноценный на котором крутятся другие вм рабочие, поэтому сделано именно так.

[Arabezar]

@uropek, да, пробрасываю контроллер. И да, именно для того, чтобы диски отдать полностью DSM.

Думаю, отдавать ESXi никакого пространства с этих дисков не буду.

 

Ранее действительно сервер был сделан только под DSM, поэтому и развёртывался на bare metal, но со временем запросы росли, потребовалось запускать виртуалки под DSM... я использовал пакет VirtualBox, но он не обновлялся... переполз на VMM... и вот совсем недавно при переходе на ARC виртуалки встали колом. Проблему победил, но повторения не хочу. К тому же Home Assistant на докерах тоже всё меньше устраивает, т.к. дрова донгла очень сильно зависят от обновлений пакетов и DSM, поэтому HA тоже переедет на виртуалку. Так и принял рашение DSM увести в виртуальное пространство, а все виртуалки сделать независимыми.

 

Теперь и мой сервер будет полноценным )))

Edited January 8 by Arabezar

[Arabezar]

21 hours ago, Arabezar said:

Несмотря на то, что процессор без графики, пробросил ASPEED VGA-графику с платы, посмотрим, что из этого выйдет.

Как и предполагалось с большой степенью вероятности, ничего не вышло, дрова не установились, соответственно, пробрасывать карту нет смысла

Edited January 8 by Arabezar

[dj_nsk]

2 часа назад, Arabezar сказал:

Как и предполагалось с большой степенью вероятности, ничего не вышло, дрова не установились, соответственно, пробрасывать карту нет смысла

А что вы от неё планировали получить в DSM? Для аппаратного транскодинга (DS918/920) надо пробрасывать iGPU (если он есть). У меня проброшен, но работает в виртуальной DSM странно: есть папка /dev/dri, отлично работает аппаратное ускорение в установленном Jellyfin, но не работает в "родных" пакетах Synology- Photos и VideoStation. Так и не смог это пока победить

Дискретную видеокарту можно попробовать пробросить в другую виртуалку (например, у меня Nvidia проброшена в виртуальную винду и прекрасно там работает как полноценная видюшка, даже монитор подключается)