Buenas!
Me parece que no vas a poder hacer transcoding a 1080p con el procesador que tienes (G1610T), y menos aun si tienes la máquina virtualizada compartiendo recursos con otras VM.
Si puedes hacer downsample a 720p es más probable que si pueda.
De hecho, a dispositivos android pocos synology pueden hacer transcoding: https://www.synology.com/es-es/knowledgebase/faq/577.
En mi caso, con un N54L y con un N40L puedo ver la mayoría de los videos (mkvs incluidos) con PLEX en la TV a 1080p, porque hace direct streaming, y no transcoding. Si hay que hacer transcoding a 1080p apaga y vamonos, que da tirones.
Para verlos en el movil, simplemente hago downscale a 720p o menos para poder verlo fluidamente.
Según la FAQ de synology, por DLNA deberías de poder verlos bien.