Skyinfire Posted January 13, 2020 Share #1 Posted January 13, 2020 (edited) Здравствуйте. Прошу совета у экспертов. Хочу собрать бюджетный сервер на 100-200 хардов под управлением XPenology. Здесь "бюджетный" - ключевое слово. Опыт работы с Synology - большой. Опыт работы с XPenology - нулевой. Теоретически, планирую следующую схему (все берем на Авито). Рэковая стойка 42+U (~7-10 тыс. руб) Сервер - любой подходящий, не обязательно быстрый (~10 тыс. руб) Контроллер, например, LSI 9286CV-8e, на 240-1024 хардов (3-4 тыс. руб) Дальше 5-10 полок, например, HUAWEI OceanStor S2300 (по 3,5 тыс. руб./шт.) по 24 HDD каскадом друг за другом через SFF8088. И XPenology DS3615xs или DS3617xs (0 руб. )) Разделы по 12 дисков в RAID6. Теперь вопросы. 1. Все ли я правильно представляю, что это все должно заработать? 2. Мне нужен RAID-контроллер или HBA адаптер? Я думал, что RAID, но здесь: https://xpenology.com/forum/topic/12681-cовместимость-sassata-контроллеров/ человек пишет, что у него LSI SAS 9207-8i, а это HBA адаптер. Вот здесь нашел список контроллеров (а заодно и сетевух): https://xpenology.com/forum/topic/9508-driver-extension-jun-102bdsm61x-for-3615xs-3617xs-916 читаю ее пока... Я правильно понимаю, что перечисленные поддерживаются всеми XPnology, включая последние 6.2, если не указано обратного? 3. Есть ли реальные ограничения на количество хардов в DSM? И здесь очень хочется, в первую очередь, послушать реальный опыт, и только потом теорию, т.к. теорию мне придется проверять своими деньгами. Вот здесь https://xpenology.com/forum/topic/12364-установочные-faq-часто-задаваемые-вопросы-по-установке/ написано "Члены сообщества опробовали системы, содержащие вплоть до 24 дисков, и они были стабильны. Физический предел 26 дисков из-за ограничений в технологии адресации дисков в Линукс." Первая часть обнадеживает, вторая вызывает сильные сомнения, мягко выражаясь. Начиная, хотя бы, с того, что Synology DS3615(17)xs без проблем поддерживает 36 хардов по-умолчанию, как и следует из названия модели. А, к примеру, RC18015xs+ - вообще 180 хардов по той же топологии, что планирую сделать я (только SAS экспандеры по 12 дисков, а не по 24). Откуда взялась цифра 26 - не ясно. 4. Дальше еще будут более конкретные вопросы по железу, пока нужно с этими разобраться. Если кто-то из специалистов может проконсультировать удаленно (платно) по принципу "Берем на Авито вот этот сервер, этот контролер, и вот эти сетевухи - и все будет работать!", то вообще будет здорово (в личку, плиз). Edited January 13, 2020 by Skyinfire Quote Link to comment Share on other sites More sharing options...
Olegin Posted January 14, 2020 Share #2 Posted January 14, 2020 12 часа назад, Skyinfire сказал: 3. Есть ли реальные ограничения на количество хардов в DSM? На 6.1. народ 58 дисков делал. Как-то баловался на 6.2.2, правда на виртуалке, но трюк не прокатил - после ребута, DSM требовала миграции, а после орала, что системный раздел поврежден. Естественно все манипуляции с настройкой дисков слетали. 1 Quote Link to comment Share on other sites More sharing options...
LDiamond Posted January 14, 2020 Share #3 Posted January 14, 2020 Думаю возможно организовать, но только посредством контроллера рейд а синолоджи уже будет видеть один большой диск, думаю тут систему надо на 3617 строить и искать совместимый контроллер.Отправлено с моего MI 6 через Tapatalk Quote Link to comment Share on other sites More sharing options...
Olegin Posted January 14, 2020 Share #4 Posted January 14, 2020 14 часа назад, Skyinfire сказал: 3. Есть ли реальные ограничения на количество хардов в DSM? Вообщем, побаловался, 24 прокатывает, 28 посылает нах... Скрытый текст Скрытый текст Quote Link to comment Share on other sites More sharing options...
LDiamond Posted January 14, 2020 Share #5 Posted January 14, 2020 Вообщем, побаловался, 24 прокатывает, 28 посылает нах... Скрытый текст Скрытый текст Ну вы же на прямую цеапляете вот и 24 вам, если учесть что в изначальной системе 12, и еще 2 раза по 12 то 36 он должен видеть через карты расширения, но если через iscasi то думаю пофигу сколько дисков. По максимально возможному обьему. Не обязательно весь объем должен быть на сервере. Для этого есть расширения на iscasi Тем броее вы 918+ используете а надо 3617xs Отправлено с моего MI 6 через Tapatalk Quote Link to comment Share on other sites More sharing options...
Olegin Posted January 14, 2020 Share #6 Posted January 14, 2020 1 час назад, LDiamond сказал: Ну вы же на прямую цеапляете вот и 24 вам, если учесть что в изначальной системе 12, и еще 2 раза по 12 то 36 он должен видеть через карты расширения, но если через iscasi то думаю пофигу сколько дисков. По максимально возможному обьему. Не обязательно весь объем должен быть на сервере. Для этого есть расширения на iscasi Человек спросил, сколько хардов можно цепануть в ДСМ и получил ответ. Что касается модулей расширения, то они цепляются к ДСМ как External Devices по Infiniband, а это уже совсем другая история. И при чем тут вообще iSCSI? Штатных средств для подключения внешних лунок в ДСМ нет, она только раздавать умеет. Quote Link to comment Share on other sites More sharing options...
Skyinfire Posted January 14, 2020 Author Share #7 Posted January 14, 2020 (edited) Благодарю за видео и ответы. 7 часов назад, Olegin сказал: побаловался, 24 прокатывает, 28 посылает Как я понимаю, 918+ не подходит для моих задач, хотя уже поддерживает 24 харда (на крайний случай, можно будет повесить каждую полку на отдельный сервер). Мне нужно будет использовать DS3617. И вы же не вносили изменения в файл synoinfo.cfg? На видео парень меняет в нем 4 параметра (почему-то два раза, первый не записалось что ли) под 58 хардов: maxdisks="58" usbportcfg="0xC00000000000000" internalportcfg="0x3ffffffffffffff" esataportcfg="0x0" С первым параметром понятно, мне надо поставить 240. Логику создания значений для internalportcfg и usbportcfg я не особо разобрал на слух, написал ему на ютюбе, вроде, он всем отвечает, подожду. DSM 6.1 меня вполне устроит, если что. 8 часов назад, LDiamond сказал: Думаю возможно организовать, но только посредством контроллера рейд а синолоджи уже будет видеть один большой диск Нет, это полностью противоречит моим требованиям. Я не назвал их все, но важнейший момент в построении всей системы - обратная совместимость с оригинальными Synology. Данные очень ценны, поэтому, даже если навернется сервер, контроллер, загрузочная флешка или все они одновременно, я все-равно смогу вынуть диски с разделами и просто вставить их в любой 12-тидисковый Synology или другой Xpenology, произведя простую миграцию и продолжить работу. А если делать отдельный раздел отдельным контроллером, то потом я хрен, что исправлю. Edited January 14, 2020 by Skyinfire Quote Link to comment Share on other sites More sharing options...
XPEH Posted January 14, 2020 Share #8 Posted January 14, 2020 21 hours ago, Skyinfire said: Прошу совета у экспертов. Хочу собрать бюджетный сервер на 100-200 хардов под управлением XPenology. Здесь "бюджетный" - ключевое слово. Здесь речь идет о системе для datacenter, не для домашних энтузиастов или малых бизнесов. Я бы все-таки выбросил слово "бюджетный" и посмотрел на фирменные решения с гарантированной тех. поддержкой. Экономия в данном случае может стоить слишком дорого. Quote Link to comment Share on other sites More sharing options...
Skyinfire Posted January 14, 2020 Author Share #9 Posted January 14, 2020 (edited) Я специально сразу написал прогнозируемую стоимость системы. Во сколько десятков раз дороже будет стоить ваше фирменное решение? Вот именно, я тоже знаю, во сколько: Цитата Опыт работы с Synology - большой Edited January 14, 2020 by Skyinfire Quote Link to comment Share on other sites More sharing options...
XPEH Posted January 14, 2020 Share #10 Posted January 14, 2020 39 minutes ago, Skyinfire said: Во сколько десятков раз дороже будет стоить ваше фирменное решение? Мое? Это Ваше решение - фирменное или самосбор. Я просто высказал экспертное мнение которое вы просили. И да, у меня огромный опыт в планировании, создании и обслуживании систем такого размера и больше. Начальные затраты это только часть общей стоимости за время эксплуатации. По сравнению с предложениями от других ведущих производителей систем такого класса, Synology уже является достаточно "бюджетным" решением. В любом случае, совет Вам дан и надеюсь услышан. Использовать его или проигнорировать дело Ваше. Никакой иронии здесь не подразумевается. Совет на самом деле искренний и не просто отмашка. Quote Link to comment Share on other sites More sharing options...
Skyinfire Posted January 15, 2020 Author Share #11 Posted January 15, 2020 20 часов назад, Olegin сказал: Вообщем, побаловался, 24 прокатывает, 28 посылает а вы их как делали, кстати, эти 24 и 28? Судя по картинке, это пустые слоты, без реальных дисков, получается, вписывали параметры в synoinfo.cfg? Quote Link to comment Share on other sites More sharing options...
Olegin Posted January 15, 2020 Share #12 Posted January 15, 2020 11 минуту назад, Skyinfire сказал: вписывали параметры в synoinfo.cfg? Да, сразу в 2х каталогах /etc и /etc.defaults Quote Link to comment Share on other sites More sharing options...
Skyinfire Posted January 15, 2020 Author Share #13 Posted January 15, 2020 (edited) 4 минуты назад, Olegin сказал: Да, сразу в 2х каталогах /etc и /etc.defaults о, а тогда можете пояснить, что надо писать в нем? Я так понял, надо менять usbportcfg= internalportcfg= esataportcfg= а на что? Если хотим, например, 72 или 120 или 240 дисков. Edited January 15, 2020 by Skyinfire Quote Link to comment Share on other sites More sharing options...
LDiamond Posted January 15, 2020 Share #14 Posted January 15, 2020 о, а тогда можете пояснить, что надо писать в нем? Я так понял, надо менять usbportcfg= internalportcfg= esataportcfg= а на что?Надо поискать тему была уже где намного проще все делалось. А это уже просто подмена идёт одних портов на другие.Отправлено с моего MI 6 через Tapatalk Quote Link to comment Share on other sites More sharing options...
Skyinfire Posted January 15, 2020 Author Share #15 Posted January 15, 2020 3 минуты назад, LDiamond сказал: Надо поискать тему ключевые слова для поиска не помните? Quote Link to comment Share on other sites More sharing options...
Olegin Posted January 15, 2020 Share #16 Posted January 15, 2020 (edited) 30 минут назад, Skyinfire сказал: о, а тогда можете пояснить, что надо писать в нем? Для примера, каждый блог по 4 знака в двоичном коде переводится в HEX и пишется в качестве параметра. Максимальное количество дисков берется из числа internalportcfg maxdisks="14" ... usbportcfg="0xff000" ... internalportcfg="0xfff" ... esataportcfg="0x300000" 0000 0000 0000 0000 0000 0011 0000 0000 0000 0000 0000 ==> eSata ports (2 drives) 300000 0000 0000 0000 0000 0000 0000 0000 0000 1111 1111 1111 ==> Sata ports (12 drives) fff 0000 0000 0000 0000 0000 0000 1111 1111 0000 0000 0000 ==> Usb ports (8 usb) ff000 P.S. Искать и менять значения параметров в файлах. Edited January 15, 2020 by Olegin 1 Quote Link to comment Share on other sites More sharing options...
Olegin Posted January 15, 2020 Share #17 Posted January 15, 2020 Пример на 44 (дальше лень 😂), думаю уже поняли алгоритм 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 ==> eSata ports (0 drives) 0 0000 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 ==> Sata ports (44 drives) fffffffffff 0011 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 ==> Usb ports (2 usb) 300000000000 1 Quote Link to comment Share on other sites More sharing options...
Skyinfire Posted January 15, 2020 Author Share #18 Posted January 15, 2020 (edited) 19 минут назад, Olegin сказал: Пример на 44 я вижу 44 единицы - это и есть число дисков? Т.е. чтобы сделать 120 дисков, я беру 120 единичек и перевожу в HEX, получаю 30 букв F (FFFFFFFFFFFFFFFFFFFFFFFFFFFFFF)? А почему для 27 минут назад, Olegin сказал: 0000 0000 0000 0000 0000 0011 0000 0000 0000 0000 0000 ==> eSata ports (2 drives) 300000 две единицы стоят в середине? Должны быть в конце по логике, тогда в HEX это будет просто 3, а не 300000. А для USB эти 2 единицы вообще в начале стоят. Не понятно. Edited January 15, 2020 by Skyinfire Quote Link to comment Share on other sites More sharing options...
Olegin Posted January 15, 2020 Share #19 Posted January 15, 2020 (edited) Последовательность СПРАВА-налево, сначала внутренние, потом USB, потом внешние sata. То, что уже занято, в следующем слоте забивается соответствующей цифрой 16(f) - минус количество занятых портов. 0000 0011 => 3 1111 1100 => fc Edited January 15, 2020 by Olegin Quote Link to comment Share on other sites More sharing options...
Skyinfire Posted January 15, 2020 Author Share #20 Posted January 15, 2020 (edited) 1 час назад, Olegin сказал: сначала внутренние, потом USB, потом внешние sata а, все 3 параметра связаны, ясно. Тогда берем конвертер https://www.browserling.com/tools/bin-to-hex и для 120 хардов + 8 USB + 2 esata получаем: 0011 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 ==> eSata ports (2 drives) 0x3000000000000000000000000000000000 0000 0000 0000 0000 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 ==> Sata ports (120 drives) 0xFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF 0000 1111 1111 1111 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 ==> Usb ports (8 usb) 0xFF000000000000000000000000000000 так? Edited January 15, 2020 by Skyinfire Quote Link to comment Share on other sites More sharing options...
Olegin Posted January 15, 2020 Share #21 Posted January 15, 2020 1 час назад, Skyinfire сказал: так Да, похоже на правду, но соответствие нулей и f не проверял. Quote Link to comment Share on other sites More sharing options...
Skyinfire Posted January 20, 2020 Author Share #22 Posted January 20, 2020 А что вот здесь означает фраза: !!!all sata_* and pata_* drivers are still not working... как-то она настораживает. И что это за extra.lzma - какой-то набор драйверов, без которого сторонняя конфигурация не заработает? Где-то почитать можно подробнее (желательно на русском). Quote Link to comment Share on other sites More sharing options...
i926 Posted January 20, 2020 Share #23 Posted January 20, 2020 Тема это импортная, и они нас переводами не балуют. Вот вроде основная тема 1 Quote Link to comment Share on other sites More sharing options...
Skyinfire Posted August 25, 2020 Author Share #24 Posted August 25, 2020 (edited) Эспериментирую с переменным успехом с оборудованием, 240 хардов прописал, хотя есть проблемы с контроллером, позже опишу. Пока затык на "ровном месте" с получением root на оригинальном Synology 2415+ (хочу к нему подключить пару не оригинальных полок по 24 харда для теста). Делаю все по инструкции из видео, переложил ее в текст: Скрытый текст На XPnology - контрольная панель - Terminal & SNMP - Включить службу SSH по порту 22. Запускаем Putty, заходим на сервер по IP порт SSH 22. На вопрос о доверии отвечаем Да. Логинимся как admin - login as: admin (энтер) вводим пароль (энтер). Пишем sudo su - (энтер) Снова вводим пароль админа, жмем энтер. Командная строка должна смениться на root@имя_сервера. Устанавливаем пароль на root: synouser --setpw root пароль где пароль - можно тот же пароль от админа, чтобы не путаться. выходим 2 раза exit (энтер) exit (энтер) Снова запускаем Putty, заходим на сервер, логинимся как root - login as: root вводим пароль ... По ней отлично задается пароль на root на XPnology (6.1), но все тоже самое на оригинальном Synology 2415+ (6.2.3) не прокатывает: при попытке логиниться как root, пишет Access denied. Что я делаю не так? Он защищен что ли как-то? Edited August 25, 2020 by Skyinfire Quote Link to comment Share on other sites More sharing options...
Olegin Posted August 25, 2020 Share #25 Posted August 25, 2020 (edited) @Skyinfire sudo -i ентер и пароль учетной записи админа Edited August 25, 2020 by Olegin Quote Link to comment Share on other sites More sharing options...
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.