Con lo de la tarjeta M2 no te puedo ayudar, ¿pero te refieres a instalar el arranque ahí o ya el sistema operativo DSM?
Y en cuanto al i3 yo tengo mi servidor xpenology con ese procesador, aunque es antiguo un 3220T con solo 2 núcleos y va muy sobrado, entiendo que el tuyo irá aún más holgado. Pero también depende del nº de discos que vayas a meter y cuantas personas van a tener acceso al servidor al mismo tiempo. En el mio la placa base es una Asrock H77M (6 puertos sata),, vendí la tarjeta gráfica Geforce 1030 y con el dinero me compré dos tarjetas SATA de 2 y 4 puertos, fuente de alimentación ENERMAX Platimax D.F. 600 (la anterior se me quemó y ya aproveché) y la caja una Silverstone GD04, todo heredado de un HTPC que tenía ya poco uso. Primero compré 3 discos duros de 6 Tb. Seagate Ironwolf reacondicionados con 2 años de garantía pero aquello hacía mucho ruido y se calentaban a lo bestia. Como no hay mucho sitio en la caja los sustituí por 7 discos duros externos Maxtor M3, de 2.5 pulgadas (les he quitado la caja) y el SSD que ya tenía para Windows 10 por si lo necesito para otras cosas, con un menú de GRUB al arrancar para elegir entre DSM y Windows, Los Maxtor llevan dentro un Seagate de 4 Tb (salen más baratos externos con caja que internos sueltos, una cosa extraña a descubrir, aunque eso sí te quedas sin garantía). y luego me he comprado esto: https://es.aliexpress.com/item/32778843469.html?spm=a2g0s.9042311.0.0.268d63c05zIYFI&cv=12_Deeplink&af=179029&aff_platform=aaf&sk=Y7bAZbY&aff_trace_key=332e9094fa05457c9f27ea8faa343dae-1590299154135-02277-Y7bAZbY&cn=15716&dp=12%3A%3A179029%3A%3A%3A%3A%3A%3A1590299153&terminal_id=030ee5a389464578aceba83dad9364e8&tmLog=new_Detail&aff_request_id=332e9094fa05457c9f27ea8faa343dae-1590299154135-02277-Y7bAZbY (para en un futuro añadir 4 discos más para un total de 11 discos, 44 Tb) + el SSD, en mi caso iría externo conectado al ordenador.