Не правильная нумерация дисков.

[serrgey255]

Всем здравствуйте! Имеется контроллер LSI 9217, ранее было подключено 8 дисков по 3тб, 6 дисков подключено к матери, 2 диска к контроллеру. Сегодня подключил 9 диск (3 к контроллеру) на 4тб и он стал 7-ым по счету, т. е. первым на контроллере, два старых диска были сдвинуты на 8 и 9. В принципе все работает, но порядок не соответствует действительности. Новый диск на 4 тб должен быть 9-ым. Есть предложение, что контроллер больший диск ставит первым. Боюсь рано или поздно забуду как диски идут на самом деле и при сбое вытащу не тот. Загрузчик ARC, в загрузчике включена поддержка lsi контроллеров. Есть вариант сделать правильный порядок? 

Edited February 24, 2024 by serrgey255

[dj_nsk]

6 часов назад, serrgey255 сказал:

Всем здравствуйте! Имеется контроллер LSI 9217, ранее было подключено 8 дисков по 3тб, 6 дисков подключено к матери, 2 диска к контроллеру. Сегодня подключил 9 диск (3 к контроллеру) на 4тб и он стал 7-ым по счету, т. е. первым на контроллере, два старых диска были сдвинуты на 8 и 9. В принципе все работает, но порядок не соответствует действительности. Новый диск на 4 тб должен быть 9-ым. Есть предложение, что контроллер больший диск ставит первым. Боюсь рано или поздно забуду как диски идут на самом деле и при сбое вытащу не тот. Загрузчик ARC, в загрузчике включена поддержка lsi контроллеров. Есть вариант сделать правильный порядок? 

загрузчик же не "от балды" номера дисков берёт - он скорее всего по номеру контроллера+номер диска сортирует. Может, надо правильно переткнуть диски, чтобы соответствовали этому порядку?

 

Ещё, если правильно помню (но могу соврать   ), сейчас в Arc для моделей с DeviceTree (например, DS920+) пункт с маппированием дисков вообще не предлагается в меню конфигурации. А если без DT (например, DS918+), то должен быть пункт - может, там даст что-то исправить.

Edited February 25, 2024 by dj_nsk

[serrgey255]

А  что вообще делает эта поддержка lsi контроллеров в загрузчике? Просто и без неё контроллер работал и диски были видны, после включения не заметил ни какой разницы. 

Edited February 25, 2024 by serrgey255

[serrgey255]

8 часов назад, dj_nsk сказал:

Может, надо правильно переткнуть диски, чтобы соответствовали этому порядку?

Из контроллера выходят провода sff-8087 - sata, они все подписаны 1,2,3,4, эти наклейки заводские. В соответствии с этими наклейками я и втыкал разъёмы. 

Edited February 25, 2024 by serrgey255

[i926]

9 минут назад, serrgey255 сказал:

А  что вообще делает эта поддержка lsi контроллеров в загрузчике? Просто и без неё контроллер работал и диски были видны, восле включения не заметил ни какой разницы. 

Ну таки не всем же везёт и сразу запускается контроллер. Да и модули там разные есть.

Как пример.....

mpt3sas "LSI MPT Fusion SAS 3.0 & SAS 3.5 Device Driver" - драйвера на SAS

megaraid_sas "Avago MegaRAID SAS Driver" - драйвера на Avago MegaRAID SAS . Узкоспециально, но автор озаботился

А вот про нумерацию я не нашёл пункта, видимо где то опция Маппинга сидит
 

[rtfm]

Подыму тему.

Пользовался sata контроллером пробросом в виртуалку. На нем проблем с нумерацией не было от слова совсем, если воткнул в 8й порт то диск становился стразу восьмым и никогда эта нумерация не менялась. На ds920. Загрузчик arpl18

Сейчас прикупил lsi 9300.  Пытаюсь аналогичное проделать с ds3622. Загрузчик arc. И как я только не мучал загрузчик, внятной нумерации добиться не удалось. Понимаю что там dt а там satamap. Но это нечто. Поковыряю еще может на что натолкнусь. А если у кого есть опыт без сбойной нумерации буду рад за оказанную помощь.

[rtfm]

Примерно понятно откуда ноги растут.

 

Спойлер

 

Ни соответственно порядок в dsm

Спойлер

 

Порядок тот же. теперь надо заставить lsi выдавать диски в порядке слотов. А в dsm все отлично.

 

[rtfm]

Снова подыму тему.

Начал собирать из стенда в продакшен. Загрузчик - ARC. DSM -3622. Проброс контроллера в ESXI. Начал добавлять диски, и формировать массив. И опять же порядок дисков не соответствует.

Спойлер

Спойлер

 На нумерацию внимания не обращаем. важен порядок. И видим что порядок не соответствует. Если брать нумерацию контроллера то получаем 0,3,2,1.

Понятно, что  в случае 3622 имеем satamap, и в случае проброса контроллера все сата вырубить бы, но в esxi это сделать нельзя.

Но это влияет я так понял на первый диск, он всегда будет пустым. Но почему остальные не по прядку. У кого есть опыт использования куда копать?

[-iliya-]

где то была тема про нумерацию портов и как как с этим бороться - нужна утилита LSI и в ней в терминале надо какие то биты выставить, тогда диски будут соответствовать портам

[serrgey255]

49 минут назад, -iliya- сказал:

где то была тема про нумерацию портов и как как с этим бороться - нужна утилита LSI и в ней в терминале надо какие то биты выставить, тогда диски будут соответствовать портам

Здесь, на этом форуме? В русскоязычном сегменте или глобальном, не помните? 

[rtfm]

19 часов назад, serrgey255 сказал:

Здесь, на этом форуме? В русскоязычном сегменте или глобальном, не помните? 

Вот вроде бы эта ветка.

Пока не оставляю надежду на дальнейшее использование lsi контроллера. Но уж больно много гемора  появилось после его установки. на асме такого не было. Все-таки подумываю установить 2 асма вместо 1го lsi.

20 часов назад, -iliya- сказал:

где то была тема про нумерацию портов и как как с этим бороться - нужна утилита LSI и в ней в терминале надо какие то биты выставить, тогда диски будут соответствовать портам

Покурил форумы. Вроде бы у вас есть опыт использования lsi9300. Подскажите какую прошивку используете на контроллере?

[serrgey255]

4 часа назад, rtfm сказал:

Вот вроде бы эта ветка

Я правильно понял, что в рабочей системе это делать нельзя, массив рухнет? Мои действия, потушить dsm, вытащить все диски, подключить 1 новый диск к 1 порту контроллера, загрузится с флешки dos, выполнить sas2flsh -o - e 3, установить dsm и выполнить необходимые действия в утилите lsiutil.x86_64. Эта настройка сохранится в самом контроллере, поэтому потом я выключаю dsm, возвращаю на место боевые диски и после запуска имею правильный порядок? 

Edited March 3, 2024 by serrgey255

[-iliya-]

4 часа назад, rtfm сказал:

Вот вроде бы эта ветка.

Пока не оставляю надежду на дальнейшее использование lsi контроллера. Но уж больно много гемора  появилось после его установки. на асме такого не было. Все-таки подумываю установить 2 асма вместо 1го lsi.

Покурил форумы. Вроде бы у вас есть опыт использования lsi9300. Подскажите какую прошивку используете на контроллере?

честно говоря и не знаю какая прошивка просто купил и поставил - все работает. У меня корпус на 24 диска и 2х 9300 контроллера, была одна проблема что часть дисков как-то коряво работала, оказалось что проблема в проводе SFF-8643-SFF-8643, заменил и все уже с июля работает практически не включаясь.

У меня на железе все.

[-iliya-]

1 минуту назад, serrgey255 сказал:

Я правильно понял, что в рабочей системе это делать нельзя, массив рухнет? Мои действия, потушить dsm, вытащить все диски, подключить 1 новый диск к 1 порту контроллера, загрузится с флешки dos, выполнить sas2flsh -o - e 3, установить dsm и выполнить необходимые действия в утилит lsiutil.x86_64. Эта настройка сохранится в самом контроллере, поэтому потом я выключаю dsm, возвращаю на место боевые диски и после запуска имею правильный порядок? 

на сколько знаю DSM пофиг на порядок дисков в рейде. Я вообще не заморачиваюсь с тем как подключены и какой порядок.

просто распечатал на принтере серийники и наклеил их на соотвествующие корзины, что бы быстрее диагностировать если какой заглючит

[rtfm]

12 часов назад, serrgey255 сказал:

Я правильно понял, что в рабочей системе это делать нельзя, массив рухнет? Мои действия, потушить dsm, вытащить все диски, подключить 1 новый диск к 1 порту контроллера, загрузится с флешки dos, выполнить sas2flsh -o - e 3, установить dsm и выполнить необходимые действия в утилите lsiutil.x86_64. Эта настройка сохранится в самом контроллере, поэтому потом я выключаю dsm, возвращаю на место боевые диски и после запуска имею правильный порядок? 

Ну не совсем так просто. Я бы поискал версию утилиты именно на свой контроллер. Это бывает очень важно. Это раз. Второе. На самом деле dsm пофиг на порядок дисков. Но не пофиг на наличие. Об это ниже. Поэтому я бы взял отдельный диск и с ним бы экспериментировал.

12 часов назад, -iliya- сказал:

была одна проблема что часть дисков как-то коряво работала, оказалось что проблема в проводе SFF-8643-SFF-8643, заменил и все уже с июля работает практически не включаясь.

У меня на железе все.

Вот те же грабли. Но у меня и провода новые и бекплейн и контроллер. На что грешить не понятно. Глюк может быть на любом участке. Прошивка у меня последняя официальная. Есть еще новее прошивка от любителей трунас, как раз под непонятки с сата дисками. Поэтому и спросил про прошивку какая стоит.

 

Про грабли при переезде с одной дсм на другую. С миграцией. С 920 на 3622.

Перевоткнул диски  в новый контроллер настроил загрузчик, и тут первые грабли, один диск не видится контроллером. Потом( через несколько дней) узнал что древние диски с сата 1 не видятся контроллером, особенно сигейты. При загрузке не обратил внимание на это, и тут же на входе получил деградировавший массив. Благо стоял хотспейр и началось восстановление. Из 8 дисков на 4х был отказ системного раздела, и один из них же был в критическом состоянии, Подоткнул еще один диск и сделал его хотспейр, благо дисков в достатке. После восстановления и перезагрузки, критических дисков увеличилось на один. Ну думаю буду менть потихоньку, но почему то не давало ни добавить диски для восстановления массива, ни установить еще один хотспейр. Просто была не актина кнопка далее при восстановлении и ошибка при добавлении. Почему так не понятно. Долго с этим разбираться не стал. Состояние системы временно- стабильное но сильно кривое. Да забыл, в какой-то момент извлек не тот диск, и назад в массив этот диск уже не встал Поэтому решил перенести данные и настроить все с нуля. Опечалился данным фактом.

Вытащил 2 якобы деградировавших диска. Смарт замечательный, диски тоже. Закрались первые подозрения. Подобным образом ДСМ вела себя так в старом корпусе. Вылечилось пропайкой бекплейнов в месте сата разъемов, за 10 лет втыкания и вытыкания кабелей думаю появились микротрещины. Так вот диски вели себя примерно так же. Через небольшое время впадали в критическое состояние, с ошибкой по потере подключения, Но это было в версии 7.1 там отражался счетчик повторного подключения. Сейчас наверное это есть в журнале но очень не информативно. Почему диск стал критическим ДСМ не пишет, мол критический и все тут, требуется замена.

Грабли вторые. Поднял новую ДСМ сделал массив из трех дисков. Создал первый том, и за ним следом второй. И на втором все повисло. Причем наглухо. Подождал с полчасика, ничего. Насильно ребутнул. 2й том с ошибкой, пересоздал вроде бы все ок. Но как то уже не комфортно на душе. Добавил в массив дисков, расширил том. Все ок. Добавил еще дисков. Вернул часть данных. Пока все устаканивалось прошло какое то время. После этого снова непонятный зависон. Не могу зайти через веб интерфейс. Логин-пасс ввожу и ничего. И так в течении часа. Снова насильно ребутнул. Один из дисков в критическом состоянии. Включил ssh Для удаленного ребута. Диск пока не доставал. Как его стояние не понятно. Данные снова буду убирать на хранение. По итогу система очень нестабильна. На тех же дисках все работало как часы. В какую сторону копать не понятно, т.к. заменены были три компонента, и глючить могут любые, и да контроллер в том числе т.к. непонятно в каком стоянии он работал у предыдущего хозяина. Чтобы точно проверить надо иметь заранее стабильные компоненты, и менять их по очереди.

 

[Olegin]

@rtfm Что-то очень похоже на проблемы с питанием...

[-iliya-]

39 минут назад, rtfm сказал:

Вот те же грабли. Но у меня и провода новые и бекплейн и контроллер.

так и у меня все новое было - просто один кабель был битый, я начал так проверять
порт на котором все диски видяться начал подключать к разным входам бекплейна, и смотрел что на нем видятся все диски в ряду

затем начал по очереди менять кабели и один оказался бракованный, заменил и все диски увидились.

[rtfm]

28 минут назад, Olegin сказал:

Что-то очень похоже на проблемы с питанием...

с питанием контроллера или питанием вообще?

13 минут назад, -iliya- сказал:

и один оказался бракованный, заменил и все диски увидились.

понятно. т.е. на одном кабеле диски не виделись. хорошо когда баг явный.

[-iliya-]

Только что, rtfm сказал:

т.е. на одном кабеле диски не виделись. хорошо когда баг явный.

2 виделись и глючили, 2 вроде сперва даже виделись, потом пропали - я уже на орпус начал грешить - 30тр +3тр доставка с алика и отправлять обратно ну прям не айс. Хорошо что оказался кабель.

[rtfm]

2 часа назад, Olegin сказал:

Что-то очень похоже на проблемы с питанием...

Спойлер

 

2 часа назад, -iliya- сказал:

2 виделись и глючили, 2 вроде сперва даже виделись, потом пропали - я уже на орпус начал грешить - 30тр +3тр доставка с алика и отправлять обратно ну прям не айс. Хорошо что оказался кабель.

Если у меня будут кабеля я буду очень рад. т.к. не хотелось бы вытаскивать бекплейн. От корпуса я не откажусь точно, уж больно он по размерам хорош.

Сегодня решил пересадить диски в другие карзины, заодно проверил диск от которого отказалась DSM. Диск отказался отличным как и предполагалось. Стал копировать данные в обратную сторону. DSM подвисла на 5 минут потом после развисона увидал такую картину....

Спойлер

 

В нормальной системе так не бывает. Начал процедуру возврата контроллера. Сперва надо проверить качество того железа то что у меня есть, а потом уже контроллер покупать.

[-iliya-]

тут важна мощность БП - хватает ли ее?

 

[-iliya-]

1 час назад, rtfm сказал:

В нормальной системе так не бывает. Начал процедуру возврата контроллера. Сперва надо проверить качество того железа то что у меня есть, а потом уже контроллер покупать.

а кстати как с охладом контроллеров? Эти штуки очень капризны и им подавай сквозной воздушный поток в 200 минимум

Такое возможно на серверных корпусах на полных оборотах турбин у бекплейна и около 17-18С за бортом
По этому я колхозил 80мм куллеры на контроллеры

[rtfm]

24 минуты назад, -iliya- сказал:

тут важна мощность БП - хватает ли ее?

Ну на одном сервере хватает 350 и проблем нет, а тут стоит 850. думаю хватает.Сейчас глянул 2 свитча, сино, и хрень вместе потребляют 140 ватт. Поэтому 850 за глаза. И да когда однотипного оборудования бывт много и потребление по одной ветке зашкаливает бывает просадка по напряжению, бмс показывает что просадки нет.

26 минут назад, -iliya- сказал:

а кстати как с охладом контроллеров?

Если верить бмс то не более 60 градусов, это нормальная температура. Пасту менял. кулер стоит прикрученный к термодатчику. Так что зашкаливать не должно.

[-iliya-]

41 минуту назад, rtfm сказал:

бмс то не более 60 градусов

она показывает температуру контроллера? У меня на supermicro и на asus не показывает, а напряжения и тд по блоку только если он родной

куллер именно на LSI 9300 стоит или общий? Надо типа так делать если нет продувки от турбин.
и еще же у LSI  9300 отдельное 6пин питание должно быть подключено

Edited March 4, 2024 by -iliya-

[-iliya-]

https://www.printables.com/model/377809-lsi-9300-16i-noctua-nf-a9x14-fan-shroud

вот кстати