Sign in to follow this  
kindzadza

16-ти дисковая система на двух восьмипортовых LSI SAS

Recommended Posts

Спасибо этому форуму! Благодаря ему получилось следующее:

XGaGtRZc_ck.jpg

 

SHR с двумя дисками чётности (Synology RAID 6) из 16 ST2000DM001 подключённых к двум LSI 9240-8i

Система DSM 5.0-4493 Update 4 грузится через Nanoboot

 

В конфигурации через SSH сделаны следующие изменения:

в файлах

/etc/synoinfo.conf

/etc.default/synoinfo.conf

исправлены значения:

maxdisks="22"

esataportcfg="0x0000"

internalportcfg="0x3fffff"

usbportcfg="0xf000000"

 

После этого все диски видны, USB диски и флэшки монтируются как removable.

Share this post


Link to post
Share on other sites

Gigabyte GA-z77-d3h

Core i3

Сетевуха на мамке встроенная (Atheros)

Блок питания на 750 ватт, от которого питается и мать, и винты

Старый корпус с шестнадцатью отсеками под HDD, из которого выкинуто всё лишнее

 

Какие подробности ещё интересны?

Share this post


Link to post
Share on other sites
Gigabyte GA-z77-d3h

Core i3

Сетевуха на мамке встроенная (Atheros)

Блок питания на 750 ватт, от которого питается и мать, и винты

Старый корпус с шестнадцатью отсеками под HDD, из которого выкинуто всё лишнее

 

Какие подробности ещё интересны?

Энергопотребление измеряли?

Share this post


Link to post
Share on other sites

Энергопотребление измеряли?

 

Нет, не было такой задачи. Была задача из старого барахла, разбросанного по серверной, собрать живой массив.

Сейчас прикручу к нему две одинаковых сетевухи, чтобы включить аггрегацию - потому что сейчас скорость очевидно упирается в производительность гигабитного интерфейса.

Ну и часть дисков надо поменять, с бэдами уже оказались :sad:

Share this post


Link to post
Share on other sites

Можно уточнить настройки контроллеров? Вы в саму синолоджи пробрасывали именно диски, на контроллерах какая-нибудь логика настраивалась? Как в синолоджи диски определяются, все ли параметры дисков видны, ну там модель, серийный номер, температура, состояние смарта и т.п... Кстати как номерация дисков получилась?

 

Можно ли в такой конфигурации подключить пару ssd для кеша, вместо двух дисков? Я так понимаю 16 дисков на котроллерах висях, можно же 2 ссд просто на материнскую плату подключить как еще два дополнительных?

 

Какая загрузка процессора в пики, какие при этом показатели скоростей, iops и тп.

Share this post


Link to post
Share on other sites

Вот сижу в похожей ситуации и не могу понять как бы сделать так, чтобы системные разделы не создавались на всех моих 22 дисках...

По умолчанию DSM при инициализации нового диска распространаяет на него в рейде 2 системных раздела - рут (dev/md0) и свап (/dev/md1) оба в режиме raid1.

Это конечно супернадежно, но есть нюанс - запись в своп и на системный диск приводит к чему? Правильно что все 22 диска дружно хлюпают головками.

А у меня вообще 2 отдельных mSATA SDD под систему выделено, зачем мне зеркалить систему на все, чтоб тормозило еще больше?

Пока никаких вариантов кроме ручного удаления лишних дисков из рейда не придумал. При этом остается потерянное место по 4 ГБ на диск, ну и как бы автоматизм имени DSM теряется.

Можно было бы предположить что вот этот параметр internalportcfg="0x3fffff" влияет на эту логику (у меня есть родной DS1511++ с двумя корзинами, там системные разделы создаются только в основном устройстве, в корзинах их нету), пробовал его менять - такое ощущение что он вообще не влияет ни на что. Кто нибудь знает на что влияет этот параметр?

Share this post


Link to post
Share on other sites

Задав internalportcfg, еще нужно изменить esataportcfg

Но это в теории, на практике лично у меня тоже ничего не получилось.

Share this post


Link to post
Share on other sites

Докопался до простого решения для свапа. Изучил процедуру в /etc/rc.subr, которая воссоздает свапы.

Оказалось что для нее есть параметр swapdisks в synoinfo.сonf, который по умолчанию в DSM не используется, т.е. задействуются все внутренние диски. В этот параметр пишется список номеров дисков, на которых нужны swap-разделы (включаемые в raid1 /dev/md1). Например: "1 2" - использовать под свап только разделы на первых двух дисках.

 

Проверил - после установки параметра при инициализации диска, разделы на новых дисках в свап-массив не включаются, хотя и создаются. Можно их задействовать под что-то другое.

 

Осталось найти решение для рута. Проблема с ним только при подключении новых дисков - партиция создается и подключается в рэйд, если из рейда ее руками исключить, то DSM-у это будет по барабану.

 

Важно: обязательно на md0 и md1 уменьшить количество дисков в массиве до необходимого: mdadm --grow --force -n[кол-во дисков] /dev/md[01]. Иначе постоянно будут попытки туда всунуть еще разделы. Так они смогут добавиться к массиву, но в виде Spare и не будут использоваться.

На "восстановить" для системного раздела приходится нажимать два раза. Первый раз к свапу добавятся неиспользуемые разделы. Второй раз они из него удалятся. Чудесная нелинейная логика у DSM :mrgreen:. С рутом так не получается, разделы должны быть добавлены к md0 как Spare чтобы веб-интерфейс не ругался что системный раздел умер.

Share this post


Link to post
Share on other sites

Отличная находка, только уточнение - переменная в synoinfo.сonf называется swap_disks, а не swapdisks.

Share this post


Link to post
Share on other sites

Никогда не видел, чтобы у синолоджи память хотя бы до 50% заполнялась... если память не заполняется полностью, на линуксах своп тогда не используется... зачем эти танцы?

Share this post


Link to post
Share on other sites

Своп может и не используется, но системный раздел пишется активно. Благодаря отключению "лишних" дисков, у меня теперь основной рейд5 раздел стал нормально засыпать. Даже при высокой активности системы (напрмер, при скачивании торрентов).

Share this post


Link to post
Share on other sites
Никогда не видел, чтобы у синолоджи память хотя бы до 50% заполнялась... если память не заполняется полностью, на линуксах своп тогда не используется... зачем эти танцы?

 

Значит вы никогда не пользовали свой синолоджи даже на 10%. У меня вообще-то на NAS-ах много чего еще крутится - например Mysql базы, веб-сервер и т.п.

Понятное дело, что лучше иметь достаточно реальной памяти, своп это аварийный вариант.

Share this post


Link to post
Share on other sites
Никогда не видел, чтобы у синолоджи память хотя бы до 50% заполнялась... если память не заполняется полностью, на линуксах своп тогда не используется... зачем эти танцы?

 

Значит вы никогда не пользовали свой синолоджи даже на 10%. У меня вообще-то на NAS-ах много чего еще крутится - например Mysql базы, веб-сервер и т.п.

Понятное дело, что лучше иметь достаточно реальной памяти, своп это аварийный вариант.

 

У меня запущен, почтовый сервер, днс, томкат (ну тут сколько я яве памяти отдам, только она и съест), фото стейшен, торренто качалка, марияДБ та самая, ну и так еще по мелочи всякого... на 10% думаю все же она используется :smile: Да, и все это на 1Гб памяти...

Share this post


Link to post
Share on other sites

День добрый!

Делал по этой же схеме (1х lsi 9240-8i, 8 дисков) с такими же настройками в synoinfo.conf. Внутренние винты все видит, а все usb-hdd и флэшки определяет как ssd и предлагает их инициализировать. Не сталкивались с такой проблемой?

Share this post


Link to post
Share on other sites

попробуйте

esataportcfg=”0x0000000”

usbportcfg="0xff00000"

internalportcfg=”0xfffff”

Share this post


Link to post
Share on other sites

Засада, какая-то с количеством дисков. Все настроено как в шапке (у меня сервер под 22 диска, соответственно так и настроено, 22 слота видно было изначально).

Проблема в том, что при добавлении 13-го диска, он в системе не появляется. Более того экспериментально установлено, что проблема именно в потрохах Xpenology, т.е. ядро диски видит, ручное подключение соотв. устройства к массиву через mdadm проходит, но в интерфейсе больше 12 дисков не появляется (пустые квадратики) и при перезагрузке диск от массива отваливается.

Думаю, что эта логика срабатывает из-за того что модель устройства задана как 3612, у которого в основном блоке только 12 дисков. Как это обойти не понятно.

Есть идеи или кто-то уже это преодолел?

Версия у меня 5.0-4528, на более новую пока не перехожу, т.к. у меня ядро самосборное с добавкой драйвера под контроллер.

 

UPD: Отмена, это я поигрался с параметром internalportcfg и забыл. Результат - поломанный массив с 8ТБ данных, которые придется выкачивать заново. Вывод - надо эксперименты доводить до конца, т.е. возвращать все как было сразу.

Share this post


Link to post
Share on other sites
Sign in to follow this