Avis: DVA3221 complet (GPU + carte extension + réseaux 10Gbps)

[delphi_jb]

Bonjour à toutes et a tous 🤲

 

Ca y est, mon RS3614XS+ ne peux désormais plus passer en 7.2... 😥 Après, il à l'âge qu'il a 😅

 

Ayant déjà expérimenté un peu ARPL-i18n, J'ai donc décidé de me réaliser un Synology.

Mes besoins étant fortement axée sur la surveillance, l'applicatif (VM/Docker) et le stockage rapide, je souhaiterais réaliser un DVA3221 sous ARPL-i18n avec un vieux PC.
 

Pour ceci, voici le matériel que j'ai:

• Asus P8P67 Deluxe
  • CPU: i7 2600 - 4cores
  • RAM: 32Gb DDR3
  • Sata:
    • INTEL: Intel Rapid Storage (Raid 0,1,10,5)
      • 2 Sata 6 Gbps
      • 4 Sata 3 Gbps
    • Marvell 9128 (HyperDuo)
      • 2 Sata 6Gbps
  • 1er PCI-e (2.0 x8)
    • GPU gtx 970, mais je compte prendre une INNO3D 1650GTX (peut être une autre marque que INNO3D, a voir. Conseil bienvenue !)
  • 2eme PCI-e (2.0 x8)
    • Carte d'extension NVMe Silverstone SST-ECM22 v1.1 (Dite moi que ca va fonctionner... 👂)
    • CACHE: SSD NVMe 1Tb (Sabrent Rocket Q)
  • 3eme PCI-e (2.0 x4)
    • Carte réseaux Synology E10G18-T1 (10Gbps)

Mes questions:

- Est-ce que ce matériel pourrait faire tourner convenablement un DVA3221 en 7.2 (et + à l'avenir) ?

- Est-ce que la carte graphique serait bien reconnu par DSM, et donc surveillance station pour l'IA ?

- Je compte faire un RAID5 avec 6 disques 12To (5 + 1) sur les Sata sous contrôleur Intel: OK ?

- Le DVA3221 n'a pas de réseaux 10Gbps par défaut. Ca peux quand même fonctionner ?

- Du point de vue DSM/ARPL-i18n, pas de problème avec la différence de génération par le bas ? (DDR3 au lieu de DDR4, PCI-e 2.0 au lieu de 3.0, etc) ?

- ARPL-i18n, toujours le meilleur ?

- ... Sinon, au cas ou... une astuce pour faire passer la 7.2 sur mon RS3614xs+ ?
 

Merci pour vos réponses 😀

 

 

Edited November 13, 2023 by delphi_jb

[nicoueron]

sur le papier c'est fort probable que tout ce ptit monde fonctionne correctement. J'émets juste un doute sur la carte d'extension NVMe.

 

Après si la config tu l'as déjà, autant tester avec un disque vierge avant d'y mettre les 6 existants.

[delphi_jb]

Super.

Meme la carte réseau en 10gbps passerait, sachant que le DVA3221 a une configuration en 4 ports 1Gbps et (je pense) pas de possibilité de carte d'extension ?

?

[nicoueron]

arf bonne remarque, je ne sais pas dsl

[Orphée]

Je te dirai bien :

Go test et donne nous le résultat.

[delphi_jb]

J'ai pas encore ce qu'il faut pour le faire complètement (j'attends de refaire un autre PC, pour avoir les pièces pour celui ci) mais je le ferais et je vous tient au jus. 

[delphi_jb]

Hello

bon j'ai testé et a priori, ca ne fonctionne pas.

j'ai pris le dernier arpl-i18n, configuré comme un DVA3221, build, boot... et rien.
on dirait qu'il plante au boot du DSM.

 

J'ai essayé aussi d'autre modèle, mais c'est pareil. Je me demande si la présence d'une gtx 970 ne pose pas problème (pas le choix, pas de chip graphique intégré)
 

Après je m'en doutait un petit peu, mais j'avais espoir malgré tout

[nicoueron]

et rien, genre il t'affiche une erreur d'installation lors de DSM ou tu ne le vois pas sur réseau ?

[delphi_jb]

A priori pas d'erreur. Voici le déroulement:

• Il boot sur ARPL
  • Il charge le Kernel
    • Ecran "Welcome to Automated Redpill Loader v1.1-beta2a"
    • Model: DVA3221
    • Build: 42962
    • IP: 192.168.1.105 
• Loading DSM kernel...
• Booting...
• root@arpl:/opt/arpm#

Il a bien pris une IP, mais celle ci ne répond pas, je ne sais pas le pinger. On dirais que le système entier est figé.

 

par contre, le DVA3221 n'était pas proposé par défaut lors du choix du modèle, j'ai du désactiver le "flags restriction" pour afficher tout les modèles, dont celui la. Ceci explique peut être cela...

Edited December 5, 2023 by delphi_jb

[delphi_jb]

J'ai peut etre trouvé:

 

 

 

Je n'ai pas le pré-réquis, mon CPU étant un i7-2xxx, et les Haswell sont les série 4xxx

[Orphée]

Ce n'est pas par hasard si il y a une restriction de flag à la base.

Si en effet ton CPU n'est pas au minimum de la génération haswell, tu peux oublier le DVA3221.

Je n'avais pas fait attention au CPU dans tes specs annoncées au départ.

Edited December 5, 2023 by Orphée

[nicoueron]

tout à fait d'accord avec @Orphée. Ne cherche pas plus longtemps.

[Orphée]

C'est pour ça qu'historiquement, ayant un HP Gen8 incompatible, j'avais trouvé une tour HP avec un core I5 récent et la GTX1650...

Ca me faisait tourner 2 machines, plus ma tour perso...

 

Le Gen8 comme NAS principal

La tour GTX1650 pour Surveillance Station (la carte mère pourrie n'avait aucun port SATA addtionnel, impossible de placer 4 disques pour remplacer le Gen8)

Et ma tour perso avec un Core I7-4790k / GTX980...

 

J'ai tout benné, j'ai gardé tous les disques, et les cartes graphiques.

 

Et j'ai monté une nouvelle machine avec une carte mère Supermicro X11SCA-F (je voulais garder l'IPMI équivalent à l'accès distant KVM du Gen8), un Core I9-9900K, 96Gb RAM (64 suffiraient largement, probablement même 32...).

Et j'ai installé dessus un Proxmox, et j'ai tout virtualisé.

Les disques de ma tour perso + la GTX980 en passthrough sur ma VM "perso"

Et les 4 disques du NAS Gen8 + la GTX1650 dans une nouvelle VM DVA3221...

 

 

J'étais sous Windows et ça fonctionnait très bien, mais j'ai récemment migré sur une VM Ubuntu.

[nicoueron]

@Orphée : tu as pluggué un écran sur ta GTX980 et ainsi tu t'en sert comme PC fixe ?

[Orphée]

Tout à fait !

J'ai une carte audio SoundBlaster PCIe dédiée en passthrough

Une carte USB PCIe également dédiée en passthrough (clavier, souris, etc...)

La carte graphique GTX980 avec le moniteur branché dessus.

 

Dès que la VM démarre, l'écran s'allume et c'est comme si j'étais sur un PC fixe baremetal.

 

La GTX1650 elle est en passthrough sur Xpenology, sans écran.

 

(pour la carte son et la carte USB j'étais pas obligé, mais c'était dans un soucis de performance/fiabilité)

Edited December 5, 2023 by Orphée

[nicoueron]

Respect ! c'est ce que je voulais faire à une époque mais mon CPU ne le permettais pas.

Et niveau conso électrique ça doit tirer quand mm 2 GPU

[Orphée]

1 hour ago, nicoueron said:

Respect ! c'est ce que je voulais faire à une époque mais mon CPU ne le permettais pas.

Et niveau conso électrique ça doit tirer quand mm 2 GPU

Corsair HX1000i
├── VRM temperature            49.8  °C
├── Case temperature           42.2  °C
├── Fan speed                     0  rpm
├── Input voltage            230.00  V
├── +12V output voltage       12.05  V
├── +12V output current        8.25  A
├── +12V output power         96.00  W
├── +5V output voltage         5.00  V
├── +5V output current         3.19  A
├── +5V output power          15.50  W
├── +3.3V output voltage       3.30  V
├── +3.3V output current       1.50  A
├── +3.3V output power         4.50  W
├── Total power output       158.00  W
├── Estimated input power    173.00  W
└── Estimated efficiency         91  %

 

A mon avis ça consommera toujours moins qu'une machine dédiée au DVA3221.

 

Edit : Techniquement je peux même passer l'iGPU du Core i9 dans une 3ième VM (déjà testé)

Edited December 5, 2023 by Orphée

[nicoueron]

Pas mal, c'est une très belle config en tout cas ; bravo pour la gestion et sa configuration!

 

Je ne connais pas Proxmox, je suis plutôt un vieux de VMware pour le coup. Mais comment fais-tu du passthrough dans Proxmox ? 

[Orphée]

5 minutes ago, nicoueron said:

Pas mal, c'est une très belle config en tout cas ; bravo pour la gestion et sa configuration!

 

Je ne connais pas Proxmox, je suis plutôt un vieux de VMware pour le coup. Mais comment fais-tu du passthrough dans Proxmox ? 

Alors je suis passé de VMWare ESXi à Proxmox.

 

Et je dois dire que pour un usage perso, je ne reviendrai pas en arrière.

 

Comme impératif, la carte mère doit être capable de faire du IOMMU (VT-d) mais c'est déjà vrai aussi pour ESXi.

 

Il faut configurer le grub de Proxmox pour activer le passthrough.

Pour ma part j'ai du également activer le ACS override pour isoler dans des groupes IOMMU séparé chaque composant PCIe.

Je n'ai pas étudié la faisabilité avec AMD, je n'utilise que du Intel.

 

C'est assez bien détaillé :

https://pve.proxmox.com/wiki/PCI_Passthrough

 

Ma ligne grub ressemble à ça :

 

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction initcall_blacklist=sysfb_init"

 

Il y a un petit script bash qui permet de voir les groupes IOMMU :

 

#!/bin/bash
shopt -s nullglob
for g in $(find /sys/kernel/iommu_groups/* -maxdepth 0 -type d | sort -V); do
    echo "IOMMU Group ${g##*/}:"
    for d in $g/devices/*; do
        echo -e "\t$(lspci -nns ${d##*/})"
    done;
done;

 

En gros, quand tu décides de passthrough un composant, tous les composants associés au même groupe IOMMU doivent être passthrough dans le même package... C'est pour ça que j'ai du activer le pcie_acs_override. Sans ça mes 2 cartes graphiques étaient dans le même groupe et je ne pouvais pas les séparer (obligé donc de les passthrough les 2 dans la même VM...)

 

Mais une fois que tous les prérequis sont "OK", c'est assez simple...

Tu ajoutes simplement un nouveau périphériques PCI depuis l'IHM Proxmox dans la config hardware.

 

 

Ce que j'ai surtout trouvé génial avec Proxmox, c'est la gestion du port série, et l'affichage via HTML5.

Pour débug Xpenology, c'est le feu, pas besoin de putty, ni de galérer avec l'ouverture de ports spécifiques depuis ESXi...

 

Il suffit simplement d'ajouter un "Serial Port" depuis l'IHM, puis quand on clique sur "Console" :

 

Ca ouvre directement la console en HTML5 :

 

Et du coup ça marche de n'importe où, même depuis l'extérieur (si t'as ouvert l'accès web vers proxmox), puisque ça passe par l'accès web proxmox.

 

 

Et c'est officiellement gratuit/opensource... pas besoin de trouver une licence sur le web pour accéder aux fonctions "premium" (comme l'accès au serial port via TCP par exemple...)

Et accessoirement, OVH propose des template Proxmox parmi les choix possible quand on loue un serveur chez eux, du coup on est pas dépaysé pour se monter une config dans le cloud.

 

Et just for fun :