Jump to content
XPEnology Community

Intel basierte ESX mit XPenology (Neuanschaffung)


gotohell

Recommended Posts

Habe nun ein wenig getestet und wollte mir die Basis Hardware anschaffen. Aber denkste, gar nicht so einfach (oder ich habe noch nicht den richtigen Artikel gefunden).

 

Würde gerne auf Intelbasis (wohl LGA1151) ESX 7 installieren und dort mein DSM mit 3617xs weiterfahren).

 

Von der CPU her würde ich 150 €uro +/- investieren, den Teil fand ich nicht so schwer. Beim Board ist es dann doch schon schwieriger geworden. Brauche ich Zusatzkontroller? Kann ich die Onboard Sata verwenden?  Bei welchem Board?  Hab noch 2 x 8 DDR4 RAM rumliegen, die ich verwenden würde, dazu das Fractal Design iNode.

 

Ist wahrscheinlich nicht eine so schwere Frage. Klar fürs Board werden wohl auch noch 100 dazukommen +Netzteil Lüfter etc.

 

Besten Dank für euren kurzen Input (also konkret: Board und CPU Kombination, darf ja auch bissi dampf haben - mit onboard hdmi). 

 

Grüsse

Edited by gotohell
Link to comment
Share on other sites

18 minutes ago, gotohell said:

Fractal Design iNode.

konnte ich nichts zu finden, was geht da für ein board rein?

 

19 minutes ago, gotohell said:

Zusatzkontroller?

wie vile disks willst du benutzen?

 

19 minutes ago, gotohell said:

Kann ich die Onboard Sata verwenden?

ja

 

 

19 minutes ago, gotohell said:

Bei welchem Board? 

kommt darauf an wie groß es sein kann und was du so an karten planst, also sata ports bzw. disks und 10G netzwerk

wenn man bei ahci bleiben will dann sind 5 ports auf einer karte im moment das beste was geht ohne performace zu verlieren (jmb585, 2 pcie lanes mit pcie 3.0)

 

2 x M.2 ? wenn man das als schreibcahe nutzen will dann braucht man zwei, lohnt aber nur bei 10G Netzwerk, bei 1G sind die 112MB/s vom netzwerk das  limit und die normalen platten schaffen das auch so

aber man kann m.2 ja auch als steckkarte im pcie slot haben (wenn man was mit 4 lanes frei hat)

 

23 minutes ago, gotohell said:

Intelbasis (wohl LGA1151)

wenn du kein intel qsv für hardware transcoding (918+) brauchst dann sind die F typen ohne gpu billiger und du kannst auch die neuen 10th gen nehmen (da funktioniert der i915 treiber nicht füra ber wenn man es nicht braucht....)

falls doch qsv dann hier lesen was geht, kleinere 9th gen cpu geht

https://xpenology.com/forum/topic/28321-driver-extension-jun-103b104b-for-dsm623-for-918-3615xs-3617xs/

bei 150€ wäre ein 6core/12threads i5 grade noch im range, bei esxi sollte man schon genug cores haben, hängt natürlich auch dovon ab wie viel anderes da noch drauf laufen soll

 

 

Link to comment
Share on other sites

Ich hab's ganz einfach gemacht:
mein Board ist ein Asrock Z370 Extreme4 (Sockel 1151 V2). das hat 8 SATA onboard
Gab's über Ebay für 50,- EUR.

CPU ist ein Pentium Gold G5400. Ebenfalls über Ebay. Irgendwas um die 30,- EUR, meine ich.
8 GB Ram,ebenfalls Ebay. Kostenpunkt weiss ich nicht, aber nicht mehr als 20,- EUR.

Die Kombi läuft super leise und sparsam.

 

Inzwischen habe ich zwei SATA-Karten nachgerüstet:
https://www.ebay.de/itm/283674013314

Ende August hatte ich noch 17,- EUR pro Stück bezahlt (inkl. Versand).
Laufen einwandfrei.

 

Alles inallem hat die ganze Kiste keine 200,- EUR gekostet (mit Gehäuse und Netzteil).
Da ich einige der Teile noch aus vorherigen PC-Basteleien übrig hatte, waren es unter'm Strich vielleicht 100,- bis 150,- EUR.
Gehäuse ist bei mir übrigens ein Chenbro RM41416, das Netzteil ist ein normales 350-Watt be quiet! mit 80Plus.
Von jetzt möglichen 16 Platten habe ich 9 in Gebrauch.

Kleiner Insidertipp:
Ich nutze aktiv den Disk SpinDown zum Energiesparen.
Wenn die Platten gleichzeitig anlaufen würden, könnte das das Netzteil an die Grenzen bringen.
Das Gehäuse und seine Backplane bieten ein hardwareseitiges "sequential spin up". Das Gehäuse lässt in Hardware die Platten alle kurz nacheinander hochlaufen.
Funktioniert fantastisch.

Edited by Chili
Link to comment
Share on other sites

3 hours ago, Chili said:

Inzwischen habe ich zwei SATA-Karten nachgerüstet:
https://www.ebay.de/itm/283674013314

dem aussehen und den etwas dürftigen angaben nach (5 x sata, pcie 3.0, pcie 4x karte) dürfte das eine jmb585 basierte karte sein wobei nur die karte pcie 4x ist der chip kann nur 2 lanes (eber mit pcie 3.0 and das ist hier der wichtige punkt - vorausgesetzt das board kann pcie 3.0 auch, da ist man bei apollolake/geminilake aufgeschmissen, der alte intel schrott kann nur pcie 2.0 - was auch der grund sein dürfte für synologys AMD nutzung bei der neuen 1621+ ,die 10 jahre alte atom technik ohne echten refresh bringt es heute einfach nicht mehr)

 

Link to comment
Share on other sites

Erstmal vielen Dank für Deine Antwort. Hab Dich gestern abend weitesgehend verstanden, Deinen Link dann schon nicht mehr so. Heute morgen wurde der Link "etwas" besser, aber nicht viel @IG-88

 

Danke auch Dir Chilli. Versteh ich Dich richtig, Du umgehst mit dem Gehäuse ("sequential spin up") das von IG-88 verlinkte Problem?  Was ich prinzipiell cool fänd nur bezweifle zumindest nicht weiss, ob das Fractal Design Node (siehe link sowas könnte).

 

https://www.digitec.ch/de/s1/product/fractal-node-804-cube-pc-gehaeuse-2577009

 

Eigentlich wollte ich solche Probleme mit einem klugen Hardware-Kauf umgehen (wegen der APU/Transcodierung bin ich von AMD als Basis abgekommen). Also ja, das wäre schon die Idee. Ist nicht unbedingt ein Nachteil wenn man zum debuggen einen Monitor anschliessen kann.

 

Aber mal zu den Fragen (und noch ein paar Anmerkungen): 

- Zusatzkontroller hast Du ja schon beschrieben und ich denke ich bin doch offener für so ein Kärtchen wenns denn die Probleme der Welt löst

- mATX Board die ESXI/DSM unterstützen 2 x 1 GBe NICs wäre toll (aber kein muss); 10 GBe würde ich ggf. per Karte nachrüsten

- hab jetzt noch irgendwo mitgenommen Intel Chipsätze für SATA und NIC sind einfacher im Handling

- Hätte mit 5 Platten via SATA onboard angefangen, ggf. dann einen RAID Controller nachgerüstet wenn dies wirklich mal zu einer nötigen Migration käme

- M.2 Cache nicht geplant

 

Bin nach einem weiteren halben Tag wieder im Modus, dass ich nicht mehr weiss was ich am Anfang gelesen habe. Zuviele Kombinationen und Probleme die ich ja wie gesagt umgehen wollte.

 

Intel® Core™ i5-9300H Processor wäre 9th gen würde also auch mit Transkodierung ohne und ESX gehen. Nun, auf welchem Board?

 

Die mittlerweile 32 Seiten unter dem von Dir verlinkten Thema sind ja direkt von Dir entscheidend mitgeschrieben @IG-88.... um eben diese Probleme zu vermeiden, wär ich noch dankbar wenn Du ein wenig konkreter in Sachen CPU Board allenfalls Zusatz NIC/SATA Controller werden könntest. 

 

Ich probiers zwar, aber ich werde heute nicht mehr schlauer wenn ich weiterlese. Grüsse

 

 

 

Link to comment
Share on other sites

1 hour ago, gotohell said:

Du umgehst mit dem Gehäuse ("sequential spin up") das von IG-88 verlinkte Problem?

nein, eine festplatte zeiht beim anlaufen des motors mer strom als wenn sie normal läuft (-> datenblatt der platte) uner umständen braucht man ein unnötig großes netztel nur um das abzudecken, die alternative kann sei das dis platen gestaffelt anfahren, ich habe früher auch controller gesehen die sowas bei hochfahren des systems gemacht haben, ist aber etwas aus der mode gekommen da die platten zunehmend weniger strom ziehen und bei ssd's gibts das so auch nicht

das in dem link erwähnte problem betrifft nur scsi/sas controller unter 918+und ist ein treiberproblem

1 hour ago, gotohell said:

naja das ist kein "iNode" das erklärt dann auch warum ich zu dem eim ersten beitrag genannten gehäuse nichts gefunfen habe

ich würde aber auf jeden fall ein board nehmen das breiter ist und pcie slots bietet (mini-itx ist da unnötig begrenzt wenn man nicht extra kompakt beuen will)

 

1 hour ago, gotohell said:

Ist nicht unbedingt ein Nachteil wenn man zum debuggen einen Monitor anschliessen kann.

da gibts nichts zu sehen außer der grub auswahl, die meldungen die du meinst kommen nur über den seriellen port, da braucht es einen solchen port und ein null-modem kabel

monitor braucht man nicht, synology hat das als headless system konzipiert

 

 

1 hour ago, gotohell said:

- hab jetzt noch irgendwo mitgenommen Intel Chipsätze für SATA und NIC sind einfacher im Handling

ich hätte auch keine bedenken bei amd und sata onboard, die chipsatz integrieren haben in der regel den vollen 6GBit durchsatz, bei den dazugelöteten chips kommt es immer auch darauf an welcher es ist und wie er ungebunden ist (pcie 2.0 chip mit iner pcie lane und 2 oder 4 ports wäre nicht so gut)

generell haben die asmedia chips den schlechteren ruf als marvell chips und wenn es um den neuen asm1166 geht (pcie 3.0, 2 lanes, 6 sata ports) kann ich das auch bestätigen (zumindest was die firmware angeht, is sachen stabilität oder kompatibilität zu verschiedenen platten kann ich noch nichts sagen)

 

beim nic ist intel eigentlich immer sabuer, bei realtek r8168 gibt es bei onboard immer wieder welche die rumzicken und schlecht laufen, deshalb wird intel da lieber genommen aber wenn man ohnhin 10G nic plant ist das nicht so wichtig, auf meinen gigabyte B365M-HD3 ist auch ein realtek, der hat  sich beim testen immer gut verhalten und für den normalen betrieb nutze ich ohnehin 10G netzwerk die ich als karte dazugebaut habe, bei mir musste es genau dieses board sein, hätte ich die wahl gehabt hätte ich auch ein paar euro mehr für einen intel onboard ausgegeben

 

1 hour ago, gotohell said:

RAID Controller nachgerüste

 

nein, nie hardware raid controller wenn es um dsm/xpenology geht, immer controller die jede platte einzeln haben, dsm ist 100% mdadm software raid

 

1 hour ago, gotohell said:

Bin nach einem weiteren halben Tag wieder im Modus, dass ich nicht mehr weiss was ich am Anfang gelesen habe. Zuviele Kombinationen und Probleme die ich ja wie gesagt umgehen wollte.

 

man sollte sich locker 1-2 wochen zeit lassen um das sacken zu lassen und die auswahl zu überdenken, wenn es das erste nas ist verschätzt man isch evtl. zwangsläufig da man nicht so genau vorhersehen kann wie man es tatsächlich nutzt, man hat so eine vorstellung aber die realität sieht dann unter umständen anders aus

 

 

1 hour ago, gotohell said:

Intel® Core™ i5-9300H

ich komme grade ins schleudern wofür H staht aber die gpu in dem wird native vom 918+ i915 triber in dsm 6.2.3 unterstütz (3e9b) , kein gefrickel/patchen oder so, geht ootb, die paar prozent mehr bei 10th gen machen bei nas nichts aus, ich würde zu einem nativ unterstützten greifen (habe ich auch, 9100, wollte nicht so viel ausgeben aber noch optinen offen lassen)

 

bei nativ ...

wenn man seine hardware auswahl an dem dsm system ausreichtet das manutzen will und sachen nimmt die schon in dsm treiber haben hängt man nicht von zusätzlichen triber und deren verfügbarkeit ab, kann langfristig besser sein, ist aber in sachen zukunftsssicher auch nicht 100% da z.b. ein hack/loader für dsm 7.0 wieder für andere hardware sein kann/wird (3615 ist wohl eher nicht mehr dabei, 3617 erfüllt den gleichen zweck nur besser da mehr/neure treiber und unterstützt mehr cpu core's)

aber auf ahci setzen ist wohl eine sichere sache das steckt in allen synology kerneln nativ drin, das wird auch beim nächsten loader laufen

ich habe alles auf ahci, seit es chips mit pcie 3.0 support gibt ist das auch ohne performance einbußen bei hdd's mögloch, bei SSD's mus man nahrechnen, der JMB585 mit den 5 ports schafft "nur" ~1800-2000 MB/s da ist man mit drei SSD's am limit was der bus hergibt

 

2 hours ago, gotohell said:

wär ich noch dankbar wenn Du ein wenig konkreter in Sachen CPU Board allenfalls Zusatz NIC/SATA Controller werden könntest. 

habe ich je weiter weiter oben schon gemacht aber

 

mATX ist besser als miniITX da man duch die slots mehr optionen hat, vorsicht beim apollolake/geminilake mini-ITX, nur pcie 2.0 und kaum bis nicht erweiterbar

 

beim nic ist es egal wenn es onboard realtek ist, wenn man genug pcie 1x plätze hat kann man einen für einen intel nic nehmen (falls der realtek zicken macht)m mein matx hat 4 slots, davon 2x pcie 1x, die sind nicht für viel nützlich aber für einen 1G nic rechts immer

 

sata - ich würde zu 6x onboard vom chipsatz und ahci controller jmb585 raten, nur bei wirklich hohem port count muss man sich was anderes überlegen aber dann wird auch gehäuse, stromverbrauch und geräuschpegel ein problem (ich habe 12x4TB und über die 12 ports werde ich nicht hinausgehen, sollten da neue platten seni kommen dann wären das im moment 12-14TB und der port count sinktbabei drastisch, ist auch eine frage des geldes, jeder port kostet beschaffung und die platte daran zeiht strom

wenm an wirklich eien hohen port count braucht und viel SSD machen will kommt man schnell bei lsi sas an (sas3) und da ist 3617 dann die beste wahl da der treiber nativ von synology kommt und sicher funktioniert (im gegensatz zu den 918+ problemen mit lsi sas)

 

bei der cpu muss man halt wissen das 8 cores (oder 4+HT) das limit der 918+ ist und die ist im moment die einzige mit hardware transcoding, ich will zwar auch nvidia treiber für die 3615/17 mit der extra.lzma mitgeben aber ob das wirklich noch im november wird (oder dieses jahr) ...

wenn man auf virtualisierung setzt dann wäre eine hoher cpu core count besser und dann ist man schnell bei 3617 (max 16 core) aber synology's VMM ist wohl nicht der burner und die meisten setzen dann eher auf esxi und dsm als vm (würde ich pesönlich bei ernsthafter nutzung von virtualisierung auch machen), in der situaltion ist es dann wieder egal wieviel cores man hat da man der vm einfach was zuteilen kann

 

 

Link to comment
Share on other sites

Man muss auch immer mal realistisch betrachten, was man am Ende mit der Kiste wirklich macht.
Unsere z.B. idlet die meiste Zeit im Keller vor sich hin.
Die tatsächlichen Zugriffe halten sich in der Praxis doch sehr in Grenzen.
Es laufen auch sonst keine VMs oder ähnliche Dinge darauf, deswegen gibt's auch kein ESXi (ich hasse es, sagte ich das schon?).

Und ich mutmaße, dass das so ähnlich auf die überwiegende Anzahl der Systeme zutrifft.
Da braucht's dann jedenfalls nicht das letzte Quentchen Performance und Geschwindigkeit. Völlig realitätsfern, meine ich.

Der Performanceunterschied meines G5400 jedenfalls zur Rackstation ist so enorm, das ist ein Riesenschritt und ich bin zufrieden für kleines Geld.

 

Wie so oft gilt auch hier die 80/20 Regel:
Die ersten 80% Mehrwert kosten 20% des Budgets.
Die letzten 20% hingegen kosten 80%.

Ergo: man kann mit den ersten 80% sehr zufrieden leben. 😉
 

Link to comment
Share on other sites

Verstehe Deinen Ansatz gut Chili. Bei mir ist es so (siehe glaube User Vorstellung), dass ich mich Anfang des Jahres für ein QNAP 653B entschieden habe (Tuning auf 16 GB) und dies auch intensiv verwende. Die "idelt" bei mir ganz und garnicht, im Gegenteil, ich bin bei über 80% CPU Auslastung, dabei läuft da nichtmal soviel drauf. SABNZB braucht ab und an logischerweise einiges an Leistung. Ich verwende dazu die HDMI Displayanwendungen (Kodi mit Teleboy Abo => Kein Kabel TV mehr). Dazu kommt der "Luxus" dass ich Fiber to the Home habe. Mir ist bewusst, dass Synology insbesondere HDMI nicht so toll kann, will hier aber auch keine phylosophische Diskussion starten.

 

Meine Freundin "braucht" Synology - da es sich schön mit Ihrem Sysnology Router etc. integriert und sie braucht ein Neues. Mit etwas mehr Zeit und meinem ohnehin überforderten TS 653B ist die ursprüngliche Idee des Selbstbaus wieder aufgekommen - und ich kannte Xpenology zu dem Zeitpunkt noch nicht. Bin da allerdings auch recht flexibel und würde unter Umständen auch von meinen HDMI Displayanwendungen abstand nehmen - vielleicht "idelt" es danach dann auch nur noch rum ;)

 

In den letzten 10-15 Jahren kam es öfter mal dazu, dass ich als Projektleiter, Account Manager oder Business Developer der Technik "zu Testzwecken unter Verletzung jeglich Datenschutzverordnung" einfach schneller war in der Lage Infrastruktur kurzfristig bereitzustellen. Hab das immer von meinem Desktop gemacht, weil ich den "grossen" Heimserver vor 10 Jahren ausgemuzstert habe (hätte ich vielleicht nicht machen sollen). 

 

Das Budget ist mittlerweile (fast) egal, weil ich soviel Zeit mit lesen verbraten habe, dass es schon Frevel wäre jetzt nicht auch umzusetzen. Ob es ESXi sein muss?  Eine weitere Diskussion bei der halt die eine Hälfte meines Wirtschaftsinformatiker Daseins wieder hervorkommt. Vor 20? Jahren war ich noch System Engineer und der Einzige der eine Dual CPU Maschine hatte (damals war das Vorraussetzung für eine ESX Installation). Habe es nie gemacht, wg. Jobwechsel. Es ist also tatsächlich eher eine Spielerei, naja und es macht schon alsmal Eindruck wenn man mit den IT Menschen in Firmen spricht, wenn man etwas mehr T(ief)-Shaped bei dem ein oder anderen Thema ist. 

 

Freitag abend habe ich auf ebay diese Auktion leider verloren:

Supermicro X11SSM Intel C236 Micro ATX Server/Workstation Mainboard 214,85 €, Intel XeonE3-1225v6 3,30GHz LGA1151 8MB Cache Boxed CPU,  225,51 €

Kingston KVR24E17D8/16 ValueRAM Server Speicher (16GB, 2400MHz, DDR4, ECC, CL17, DIMM) 2X 379,66 €, Noctua NH-L9i CPU-Kühler für Sockel 1155/1156, 39,90 €

NOCTUA NF-A6X25 FLX - Gehäuselüfter - 60 mm, NF-A6X25 FLX 14,90 € Noctua NF-A8 PWM 80mm Lüfter 2X,  31,78 € 906,60 €

Ging dann für ca. 350 €uro übern Tisch.

 

Nach IG-88s Input ist AMD wieder auf dem Tisch - bin jahrzehntelanger AMD verfechter (hätte ich nur die Aktien gekauft)... Naja, mal schauen. All der Text ;)

 

 

Link to comment
Share on other sites

On 11/16/2020 at 10:12 AM, gotohell said:

Nach IG-88s Input ist AMD wieder auf dem Tisch - bin jahrzehntelanger AMD verfechter (hätte ich nur die Aktien gekauft)... Naja, mal schauen. All der Text

vergiss religion und das nas wird normalerweise weder zum surfen im internet benutzt noch gibt man da dienste im intenret frei (wenn man die risiken minimal halten will, lieber mit VPN zugreifen) - dann spielen auch die diversen cpu sicherheitslücken keine so große rolle mehr

 

wenn du es konkreter willst

Gigabyte B365M-HD, günstige 9th gen cpu (i3-9100) dazu 16 GB RAM, da geht einiges mit zu machen und man hat luft noch oben für storage controller und 10G nic, die 6x sata und der realtek 1G onboard sind ok für den anfang, jmb585 basierte 5port sata karte zur erweiterung

gehäuse ist wenn es igendwo steht egal, netzteil lieber eins bei dem der lüfter immer läuft aber dafür leise ist, die platten,ram und die wandler brauchen etwas luftstrom

 

Edited by IG-88
Link to comment
Share on other sites

Ich darf das Thema schliessen, da ich sozusagen "up and running" bin.

 

Bei meinem QNAP habe ichs auch so, von aussen nur per VPN durch exotischen Firewallport und der Teil ist schon fragwürdig.

 

Der HDMI Teil kommt von verschiedenen Seiten her: QNAP HDMI Displayanwendungen (ja ich weiss Synology macht das nicht). Hätte eben schon gerne den GPU Passthrough von ESX nach "any VM" hinbekommen, geht nocht nicht - ist aber auch völlig egal für meinen Anwendungsfall der Xpenology.

 

Habe mir gestern Nacht die Appliance von hier gezogen, was nochmal einiges an Zeit gespart hat (dort steht auch meine aktuelle ESXi Config und eingesetzte Hardware).

 

Also ich bin im Moment mal ziemlich glücklich, obwohl mir ein wenig das Erfolgserlebnis des selbstmachens fehlt (aber das hatte ich bei der lokalen VMWare ja eigentlich schon mit Xpenology up and running). 

 

Es bleibt zu befürchten, dass weitere Fragen kommen, die aber wohl nichts mehr mit dem ursprünglichen Thema hier zu tun haben. Daher nochmal Danke an die Contributer im Thread. Es war auch kurz davor, dass ich auf ein Supermicro mit XEON etc. gehe, hatte einer günstig im ebay.  Habe bestimmt auch noch ein paar Nachteile mit meinem Blech (so Stromverbrauch etc), aber im Moment tuts mal was es soll. Muss jetzt mal ein paar physikalische Disks dem ESXi++ zur Verfügung stellen. Die nvme ist praktisch voll ;) Und den ESX Neustarten ist jetzt schon ein Problem "ohje, was muss ichn da alles an VM's runterfahren". Es kam mir auch schon der Gedanke "Warum brauch ich jetzt genau das Xpenology im ESX" aber lassen wir das.

 

 

 

 

Link to comment
Share on other sites

2 hours ago, gotohell said:

Habe bestimmt auch noch ein paar Nachteile mit meinem Blech (so Stromverbrauch etc), aber im Moment tuts mal was es soll. Muss jetzt mal ein paar physikalische Disks dem ESXi++ zur Verfügung stellen. Die nvme ist praktisch voll ;) Und den ESX Neustarten ist jetzt schon ein Problem "ohje, was muss ichn da alles an VM's runterfahren". Es kam mir auch schon der Gedanke "Warum brauch ich jetzt genau das Xpenology im ESX" aber lassen wir das.

 

dann noch eine kleine warnung, wenn du die basics nicht drauf hast und nicht weißt wie und warum deine vm funktioniert kannst du später ziemlich in schwierigkeiten geraten wenn deine vm nach "ich habe doch eigentlich nichts gändert" oder einem DSM update nicht mehr hochfährt, DSM ist eine appliance, kein normales linux, da gibt es einige sachen die mal nicht eben so funktionieren wie in einem vollen linux (schon so einfache dinge wir modprobe oder modinfo gibts nicht)

du solltest dann wenigstens darauf achten ein backup deiner daten zu haben und einen plan wie du weiter machst wenn die vm nicht geht - auf arbeit heißt das dann "business continuity plan"

 

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...