Jump to content
XPEnology Community

надёжность esxi (лирика)


Recommended Posts

(извините много букв, прошу разъяснить про виртуальные машины новичку)
я изначально использовал xpenology на голом железе в hp microserver gen8 (стоковый celeron 4+8 Гб ram). пара первых рейдов с ext4 организованных самой xpenlogy были, ssd-кэш для чтения пробовал делать. c btrfs экспериментов не проводил.
в целом всё выглядело вполне надёжно:
загрузчик на sd-карточке, с неё грузился, в случае чего, карточка менялась, на неё залилвался такой же загрузчик. сама xpenology получалась какбы размазана по всем hdd, то есть если какой-то выходил из строя, то даже установленные пакеты не переставали функционировать после устранения неполадки.
недавно был заменён процессор на xeon 1270v2. с установкой нового процессора решил расширить горизонты своих познаний и перейти на esxi. для этого у hp есть даже спец образ. его прекрасно установил на sd-карточку, с которой система загружается.
не то чтобы сразу, но всё что хотелось реализовать получилось:
крутится xpenology, рядом пара debian'ов. с rdm и прочими толстыми виртуальными дисками кое-как разобрался. в производительности hdd немного сомневаюсь, но для текущих нужд пока это не критично. usb 3.0 не работает - вот это засада, но пользуюсь им не часто, поэтому пока не обращаю внимание на это (хотя когда надо, хочется, конечно, чтобы "оно" побыстрее копировалось).

так вот вопрос:
я понимаю, общественность утверждает что esxi в отличие от proxmox больше заточена под установку на sd-карточки. но всё же, сдохнет карточка, ну не через месяц, но через полгода точно. и что меня ждёт? как-то можно снимать образы с этой карточки, чтобы в случае чего восстановить всё "как было"? тут конечно кто-то скажет, что можно нагородить рейд для esxi, но в моём случае это слишком расточительно. 

и я размышляю дальше. есть ведь virtual machine manager. который synology,  позиционируют как гипервизор. судя по всему там имеют место проблемы с динамическим распределением ресурсов оперативной памяти. но если прикинуть, так, на вскидку, если завести это дело на raid1 с btrfs на текущем железе (3,5 ггц 4 ядра, 8 потоков, 12 гб озу) и крутить там 3-4 виртуальных машины на линуксе для домашних экспериментов, хватит ведь ресурсов (им ведь будет выдаваться отдельные ip роутером? свобод докера, кажется, мне не хватает)?

в целом я конечно склоняюсь к xpenology на чистом железе, но сомневаюсь из-за поверхностных знаний.

спасибо за внимание.

Link to comment
Share on other sites

1 час назад, toleeck сказал:

судя по всему там имеют место проблемы с динамическим распределением ресурсов оперативной памяти

Там проблем нет, она динамически не распределяется, только статично, сколько отдал VM, столько она и получит.

 

Это мое личное предпочтение, но поигравшись с ESXI, вернулся на хрень и развернул виртуалки в ней по следующим причинам: винты из под ESXI в хрени работали раза в полтора медленнее, жалко было держать винт под ESXI (на флешку установить можно только с 6.5, если не изменяет память и это не очень надежно), USB 3 работает, мне нужны 3-4 виртуалки и хрени для этого предостаточно.

 

P.S. Скоро приедет xeon 1285L v3, мне большего и не нужно будет для бытовых нужд... :4_joy:

  • Like 1
Link to comment
Share on other sites

На флешку или SD карты ESXi ставился изначально во всех версиях. На серверах расчитанных на виртуализацию даже есть опция для двух встроенных SD карт которые можно зазеркалить. При таком варианте тратить встроенный диск на OS не надо. С USB 3 пока проблема даже в последней версии, как и с производительностью дисков. В какой то степени это компенсируется отличной системой кэширования, но для больших обьемов перекачек это не помогает. Самый лучший вариант использования ESXi это тот на который он расчитан - гибкий настраиваеный сервер для определенных задач, не для xранилища общего назначения. Для последней задачи NAS как раз подходит лучше всего установленный на голое железо.

Важно определиться с приоритетами. Если важнее хранилка, а пару маленьких серверов для "поиграться" , то VMM на XPEnology вполне достаточен. Для дома большинству это и надо. Если важнее высокая производительность серверов, а хранилище "так, что-бы было", to ESXi (или другая система специально ориентированная на виртуализацию) будет лучшим выбором.

В больших компаниях разделениe обычно очень явное. NAS для хранения (в том числе и хранения, бэкапов виртуалок), а мощные сервера с большой памятью и кучей процессоров - для виртуализации. При этом локальные хранилища на серверах для виртуалок минимальные, только для журналов. Все вирт-машины хранятся на тех-же NASах для удобства переноса между серверами.

 

  • Thanks 2
Link to comment
Share on other sites

спасибо за внимание товарищи. обдумываю теперь пути возврата с esxi на железо )) как теперь малой кровью подготовить данные которые внутри vmdk для того, чтобы впоследствии увидеть их на железной xpenology?

добавлю ещё один минус использования esxi для домашних нужд начинающими пользователями - из коробки система не умеет взаимодействовать с ups. то есть система не потушит корректно виртуальные машины и саму себя после отключения электричества по сигналу от ибп.

  • Like 1
Link to comment
Share on other sites

>добавлю ещё один минус использования esxi для домашних нужд начинающими пользователями - из коробки система не умеет взаимодействовать с ups. то есть система не >потушит корректно виртуальные машины и саму себя после отключения электричества по сигналу от ибп.

Это очень просто решается, на хосте поднимается машина с виндой и powershute в случае если ибп APC, после получения сигнала, она выполняет скрипт и гасит все виртуалки и хост esxi.

Link to comment
Share on other sites

Никаких "проблем" при работе esxi с дисковой подсистемой нет, есть небольшая, порядка 3-5% потери при виртуализации, т.е без esxi будет работать быстрее, но при домашнем использование это не актуально. Нормально работающей рейд может быть только аппаратный, все остальное это компромисс. Просто не надо пытаться сделать все одним инструментом. Как в поговорке - админы делятся на 2 вида, те кто делают бекап и те кто уже делают бекап. Бекап делаю на usb винт, раз в 2-3 месяца. Пол года назад умер винт с esxi, накатил свежий esxi на флешку, загрузился, подцепил виртуальные машины, все работает. Заняло по времени 40 минут, в вытаскивание сервера с антресолей, диагностикой и прочим.  Привязка в железу это прошлое, виртуализация добро.

Link to comment
Share on other sites

10 minutes ago, SSerger said:

Это очень просто решается, на хосте поднимается машина с виндой и powershute в случае если ибп APC, после получения сигнала, она выполняет скрипт и гасит все виртуалки и хост esxi.

да, завести отдельную виртуалку с виндой для управления питанием видимо нормальное дело. ещё есть apcupsd, ещё есть более универсальный, в плане совместимости с ибп, nut. можно на отдельный хост это добро вынести, например raspberry доверить это дело. но как-то это не правильно я считаю. меня, когда я с этим столкнулся, очень сильно удивило.

  • Like 1
Link to comment
Share on other sites

>да, завести отдельную виртуалку с виндой для управления питанием видимо нормальное дело

Для меня нормально, под конкретную инфраструктура. У меня нет кластера, нет vsphere, у меня отдельно стоящие хосты, потому и решение такое.

 

>можно на отдельный хост это добро вынести, например raspberry доверить это дело

Вопрос важности хоста который будет гасит эта железка за 3 т.р, на виртаульном хосте даже с точки зрения траблшутинга правильнее.

 

>меня, когда я с этим столкнулся, очень сильно удивило.

[пожимает плечами]

 

Link to comment
Share on other sites

4 minutes ago, SSerger said:

Вопрос важности хоста который будет гасит эта железка за 3 т.р, на виртаульном хосте даже с точки зрения траблшутинга правильнее.

да, я именно это и имел в виду, только в отношении винды на виртуалке, то есть я бы не доверил ей такого 

  • Like 1
Link to comment
Share on other sites

>то есть я бы не доверил ей такого 

а я бы не доверил гасить железку стоимость в млн с виртуальными серверами 1С компании, куску говна за 3 т.р, которую сделали для домашних умельцев под бытовые нужды. я уже не говорю про 365\7\24. Хотя вполне годные игрушки но под другие задачи.

Link to comment
Share on other sites

2 minutes ago, SSerger said:

а я бы не доверил гасить железку стоимость в млн с виртуальными серверами 1С компании, куску говна за 3 т.р, которую сделали для домашних умельцев под бытовые нужды. я уже не говорю про 365\7\24. Хотя вполне годные игрушки но под другие задачи.

сорян, ошибся веткой видимо. изначально показалось что антресольные хранилища обсуждаем. сервак за миллион думаю лучше вообще не гасить, а организовать инфраструктуру с бесперебойным питанием.

  • Like 1
Link to comment
Share on other sites

13 hours ago, SSerger said:

Не совсем понимаю о каких проблемах речь, не поясните?

Есть небольшие потери в скорости при перекачке (по настоящему) больших обьемов данных. Некоторые RAID адаптеры поддерживаются в базовой конфигурации, но все возможности дисков и адаптеров не используются. Физическое состояние отдельных дисков удаленно отследить не всегда возможно. Для домашних систем, где часто больше гигабитной сети не используется и обьемы данных редко превышают несколько ТБ, эти "проблемы", или скажем "особенности" в основном не замечаются.

Все это с лихвой перекрывается удобством и гибкостью системы, но знать и учитывать надо.

Link to comment
Share on other sites

  • 4 weeks later...
  • 2 months later...

Афтор, дома обычно esxi конфигурируется с нуля за 5 минут. Какие еще бекапы? Максимум - забекапить сами ВМ-ки. Гипервизор бекапить смысла мало. И почему обязательно карточка должна сдохнуть через пол года? И что мешает грузиться с юсб-плешки? Всё это годами работает, каши не просит. Лучше озаботиться хотя бы аппаратным НВА-контроллером. Ввод-вывод значительно веселее пойдёт. Узкие места esxi дома практически недостижимы. Если конечно дома не стоит продакшен. ))

Link to comment
Share on other sites

  • 1 month later...

Есть нюансы при создание бекапа флешки с гипервизором снятием образа. Все флешки имеют разные размеры по факту в байтах и взяв "похожую же на 4Gb" не факт, что образ на нее развернется, банально она может меньше оказаться. Нужна в запасе или совсем такая же  флешка (найти может уже сложно если крах случается через несколько лет после покупки первой) или разворачивать на большего размера (не жалко деньги тратить?).

 

Имхо, правильный способ сделать бекап конфигурации гипервизора средствами ESXi. Потом сделать чистую установку гипервизора на флеху и накатить конфигурацию обратно. Таким способом я переехал (даунгрейд) с флешки 8Gb на 4Gb, т.к. 4 выше крыши для домашней ESXi:

 

Using the ESXi Command Line
To synchronize the configuration changed with persistent storage, run this command:
vim-cmd hostsvc/firmware/sync_config

To backup the configuration data for an ESXi host, run this command:

vim-cmd hostsvc/firmware/backup_config

Note: The command should output a URL in which a web browser may be used to download the file. The backup file is located in the /scratch/downloads directory as configBundle-HostFQDN.tgz

 

------------------------------------------------

Restoring ESXi host configuration data
Using the ESXi Command Line:

Note: When restoring configuration data, the build number of the host must match the build number of the host on backup file and UUID (can be obtained using the command  "esxcfg-info -u") of the host should match the UUID of the host on backup file.

Use numeric 1 as force option to override the UUID mismatch.
Example: vim-cmd hostsvc/firmware/restore_config 1 /tmp/configBundle.tgz


    Put the host into maintenance mode by running the command:

    vim-cmd hostsvc/maintenance_mode_enter

    Copy the backup configuration file to a location accessible by the host and run the command:

    In this case, the configuration file was copied to the host's /tmp directory. For more information, see Using SCP to copy files to or from an ESX host (1918).

    vim-cmd hostsvc/firmware/restore_config /tmp/configBundle.tgz


    Note: Executing this command will initiate an automatic reboot of the host after command completion.

 

 

Можно наверное в FAQ какой-нибудь это добавить.

Edited by Chupakabra
Link to comment
Share on other sites

7 hours ago, Chupakabra said:

Можно наверное в FAQ какой-нибудь это добавить. 

Пожалуй слишком частный случай и мало относится к основной теме (XPENology) форума.

Link to comment
Share on other sites

  • 4 months later...

Прочитал тему. Могу добавить. NUT есть и под esxi. Вот если нужен мониторинг, то нужно что то городить. Я настроил zabbix. Он и графики рисует и оповещения любые дает. Настроил даже пуш на ифон. 

 

Вот с надежностью файлохранилища у меня сомнения. Может кто мысли подкинет. Купил один из самых дорогих raid контроллеров adaptec 8885q. Не совсем владея информацией по итоговой инфраструктуре. Поставил xpenology под файлохранилище. Сделал тонкие диски заведомо большего размера чем есть, с учетом что добавлю диски со временем. Виртуальные диски - вернее диск накрывался под нагрузкой. Переходит в режим read only. (DS3716 на 1.3) И по скорости есть сомнения (но толком тесты не проводил). Esxi к стати на рейде. При установке с бубном пришлось танцевать, но решимо.

В теории можно поставить флешку и с нее грузится. Флешка при работе как я читал не работает. Вся система грузится в память. (Поздно для себя узнал) Но xpenology мой контроллер вроде не увидит. Его нет в списке совместимых. 

 

Несколько мыслей почему esxi. Долго сидел на qnap. Много связывает руки когда заточенная операционка. С сино так же.  Виртуалка решает вопрос, но esxi именно под эту тему. Рассматривал proxmox, но у esxi общество по больше. Вопросы как мне кажется решать проще. Для новичка как минимум. 

 

Если кто подскажет как лучше организовать файлохранилище на моем зоопарке я буду очень благодарен. Думаю может еще какую нибудь свободную ОС под файлы завести и по nfs цеплять в сино. Чем дальше, тем как то накрученней система рисуется. Теперь понял зачем нужны железные схд. Но это совсем другие затраты. 

Link to comment
Share on other sites

  • 2 weeks later...

Также столкнулся с выбором при "проектировании" "all-in-one" системы для замены официальной коробки от Synology с 4HDD и компа впридачу - Win10 с дискретным GPU, Xpenology и HTPC на одном железе. Получается удобнее и дешевле, чем зоопарк устройств: отдельно новая коробка под NAS с CPU/MB/RAM/Корпусом + комп с CPU/MB/GPU/RAM/Корпусом.

Был вариант Win10 + VB с Xpenology, но не хочется полагаться на винду с её апдейтами, перезагрузками и прочей ерундой, а так же держать ее включенной 24/7. Поэтому и выбрал вариант с esxi + Win10 с пробросом GPU, USB3 + Xpenology с пробросом HDD и USB3 + HTPC с Kodi + macOS.

Винты в Xpenology будут в SHR1 или 2 + UPS под это дело. UPS сейчас стоит и управляется хренью.

Edited by MrJD
Link to comment
Share on other sites

Делюсь опытом

На esxi переехал когда херня была версии 4.

С тех пор каждый день работают виртуалки 

- pfsense (4 прова, 2 локалки, двухглавая интел + usb-lan),

- debian с nginx reverse proxy, и байда которая на 443 порту умеет разделять rdp/https/ssh (удобна на работе работать на рабочей виртуалке по rdp).

- херня (с проброшенным raid adaptec), 

- debian с mysql,

- 2 шт. debian (ttrss, deluge, svn, nut, plex, nextcloud, diaspora...),

- рабочая восьмерка сейчас 10 (с проброшенной видео),

- win serv с mssql,

- иногда 3-4 виртуалки для эксперементов.

Конфиг: i7-3770 без K!, 32G RAM, SSD cash 500G, Win10 на rdm ssd.

Работает и не парится.

При условии что стоит рабочий упс, небыло ни одного сбоя, кроме выхода из строя пары винтов.

Рекорд аптайма - 387 дней. И то по причине обновления до 6.7.

До сих пор рад что выбрал esxi когда-то.

Из апгрейда - планирую рабочую win10 перенести на коробочку с i7 последних поколений, а видеокарту отдать plex.

С самого начала хочу астериск водрузить, модем лет 5 лежит ждёт, но руки не доходят (если тут есть гуру астериск - стучись в личку - договоримся =)).

Edited by chumbaumba
Link to comment
Share on other sites

  • 1 month later...
В 20.12.2018 в 19:15, chumbaumba сказал:

Делюсь опытом

На esxi переехал когда херня была версии 4.

С тех пор каждый день работают виртуалки 

- pfsense (4 прова, 2 локалки, двухглавая интел + usb-lan),

- debian с nginx reverse proxy, и байда которая на 443 порту умеет разделять rdp/https/ssh (удобна на работе работать на рабочей виртуалке по rdp).

- херня (с проброшенным raid adaptec), 

- debian с mysql,

- 2 шт. debian (ttrss, deluge, svn, nut, plex, nextcloud, diaspora...),

- рабочая восьмерка сейчас 10 (с проброшенной видео),

- win serv с mssql,

- иногда 3-4 виртуалки для эксперементов.

Конфиг: i7-3770 без K!, 32G RAM, SSD cash 500G, Win10 на rdm ssd.

Работает и не парится.

При условии что стоит рабочий упс, небыло ни одного сбоя, кроме выхода из строя пары винтов.

Рекорд аптайма - 387 дней. И то по причине обновления до 6.7.

До сих пор рад что выбрал esxi когда-то.

Из апгрейда - планирую рабочую win10 перенести на коробочку с i7 последних поколений, а видеокарту отдать plex.

С самого начала хочу астериск водрузить, модем лет 5 лежит ждёт, но руки не доходят (если тут есть гуру астериск - стучись в личку - договоримся =)).

 

Давно хочу сделать что-то подобное, только вот не понимаю, зачем.
Добиться бесшумности 4-10 хардов без какого-то глубокого радикального моддинга типа оклейки корпуса шумоизоляцией не удастся. Бесшумных коробок для HDD в продаже днем с огнем не найти, задержка USB скорее всего будет ощущаться в играх и графических редакторах.

Я думал PFsense поставить, но Keenetic покамест говорит "не надо", а каких-то 3-этажных правил для демультиплексирования 443-го порта придумывать - ну опять же ради чего? Мы же ещё не в Китае, чтобы на один порт прятать всё на свете?

С точки зрения романтики - оно, конечно, очень круто, но возникают еще и вопросы с пробросом PCI-E устройств и необходимостью резервировать для них весь объём ОЗУ виртуалки, ведь получается, что память, отданная под винду, никому больше не достанется.

Конечно, есть мысль сделать хост для 2-3 пользователей с 2-3 видеокартами, но тут мы упираемся в корпус, который должен будет охлаждать 600-800 Ватт и желательно без воды.

 

Link to comment
Share on other sites

про 443 - ну у меня сложилась практика, что на выход в интернет доступен 443 (у заказчиков на работе), а например нужен срочно rdp. поэтому putty - 443 - pfsense - 3-х этажный демультиплекс - виртуалка с виндой и вуаля, за 3 секи имею неограниченный доступ ко всему. Был в мексике. Ходил оттуда домой. По проводам -  нормально! По вафле тормозило.

 

никогда не резирвировал память. там всё динамически (наверное спасает ssd cash и настроенная на ssd глобальное файло подкачки гипервизора и виртуалок). затыка по памяти ниразу небыло, а проца бывает не хватает. очень редко но метко.

 

с остальным да, особенно корпус. колхозил канкрэтно. 3шт 140 вентиля на вдув и 3 на выдув. вентеля дорогие были, noiseblocker, во времена 3770 были больше чем тыща рублёв штука. почти 10000 за вентеля отдал. но оно того стоило, работают по сей день. шумка автомобильная. слой гудроновой липучки, поверх тонкая незнаю что. Стоит в коридоре, сильно шумит во время включения винтов и выхода вентелей на рабочий режим, ну видяха шумела, когда играл, но шумела она там, в коридоре, а не тут в комнате. Прошло почти 8 лет, в режиме 365 дней в году. Думаю покупать ли huanan с регистровой 4-х канальной памятью на 128 гиг + 10 ядер xeon за 60000+- р... Думаю лет на 10 ещё хватит.

 

kerio рассматривал, но победил моноволл, впоследствии pfsense. вообще много всяких пробовал.  на очереди - опенсорс на базе pfsense.

usb и 2 и 3 - тормозят, м.б. 3.1 работает, интересно проверить, но негде.

 

романтики никакой. это просто удобно. например смотрю то что нужно в ютубе, но без рекламы. Какаята штука качает ссылку ролика и файл сразу появляется в плексе. Все смотрят рекламу в ютубе - я нет. Имея доступ в инет с любого железа/софта, я моментально попадаю в рабочее окружение, в той точке в которой остановился. А личный фото-видео архив - это вообще боль большинства. Звонки из-за границы с астериской (в разных комбинациях со скайпом/телегой/городским телефоном).  В января вот приколося на планшете android (кетайский за 10р) через rdp работать. Оказалось очень удобно, комфортней чем с ноутом.

В прошлом году перешёл на sonos. В этом году планирую добавить control4 и алексу. Уже выресовался рабочий алгоритм: эй ты скачай вон тот про винипуха и покажи на кухне, только косяк один проявился - только на нерусском понимает.

Шел к этому на протяжении 8 лет. Без напрягов, по мере необходимости, в свободное от свободного времени время. Я не одмин.

 

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...