все, разобрался, протупил по полной
для миграции с железа (для которого сгенерированы правильные серийник и мак адреса) на esxi нужно:
1. в esxi добавить новую виртуалку, используя файлы из jun's mod (залить 4 файла из мода в storage, зарегистрировать новую вм, используя файл ds3615.vmx)
2. проверить, что synoboot.vmdk прицеплен к вм как sata0 и dependent
3. прицепить к ней диски от хранилища в виде rdm (в моем случае) как scsi и dependent
4. подключить два сетевых адаптера, поменять в них мак адреса на нужные
5. при загрузке виртуалки нажать "с", чтобы попасть в командную строку grub и ввести там "sn SERIALNUM" (где SERIALNUM ваш серийник, нужно для корректной работы quickconnect), затем загрузиться в нужный пункт меню груба (что-то там про esxi)
5. профит
У меня никак не получалось, потому что я использовал только один сетевой адаптер для вм, а рабочая сетевуха в вм xpenology оказалась как раз-таки не первой, а второй. При этом xpenology под esxi прекрасно грузилась, но я ее не видел само собой по сети. Подцепил второй адаптер, сразу все поехало.
Quickconnect работает, все приложения для смартфонов прекрасно работают. Скорость отличная. Теперь у меня в gen8 уживаются две виртуалки - одна xpenology, вторая - игровой комп на win10. (игровой - потому что подключена gtx1070 через райзер pci-e и проброшена в виртуалку с вин10)