Jump to content
XPEnology Community

antihrist2002

Member
  • Posts

    221
  • Joined

  • Last visited

Posts posted by antihrist2002

  1. Думаю так просто не прокатит. Обычно люди используют нас для резервного хранения, а это значит как минимум рэйд. Для рэйда нужно поднимать mdadm. Если сделан SHR массив, то поверх mdadm лежит LVM. Оба пакета не входят в известные мне LiveCD + не всегда mdadm может правильно собрать массив автоматом.

  2. Synology uses mdadm for RAID, even for SHR. So you can google mdadm RAID1 read perfomance.

     

    I made some test. RAID1 do not impruve single-threaded read.

     

    Disk2 and Disk9 is SHR

     

    de323833a4ff.png

     

    You will see speed boost in RAID1 only if you will read two or more different files simultaneously.

    799d78c5d9ce.png

     

    use RAID10 to boost your single-threaded read.

    f56a6ae0804f.png

  3. crookedview, do you use passthrough for you controller? or RDM for disks? or you a using traditional VMDK?

    How you check your speed? via LAN? or console?

     

    Do you have data on your SHR? Can you delet it and create RAID-0 to check speed?

    In RAID-0 you must have 200Mb/s and more, if no than controller can be a bottleneck due bad drivers. Or if you using VMDK it can be problems with ESXi.

  4. Приехал мне вчера вот такой контроллер: 4 Ports Internal PCI-Express SATA 3.0 6Gb/s Expansion Card Chipset For Marvell. Собрано сие чудо на Marvel 88SE9215.

    Контроллер был немедленно установлен в стенд для тестов. Даже 4 диска под это дело нашлось...

    [spoiler=lshw]30:00.0 SATA controller: Marvell Technology Group Ltd. Device 9215 (rev 11)

     

    *-storage

    description: SATA controller

    product: Marvell Technology Group Ltd.

    vendor: Marvell Technology Group Ltd.

    physical id: 0

    bus info: pci@0000:30:00.0

    version: 11

    width: 32 bits

    clock: 33MHz

    capabilities: storage pm msi pciexpress ahci_1.0 bus_master cap_list rom

    configuration: driver=ahci latency=0

    resources: irq:48 ioport:1120(size=8) ioport:1130(size=4) ioport:1128(size=8) ioport:1134(size=4) ioport:1100(size=32) memory:f0600000-f06007ff memory:f8400000-f840ffff

     

    определяется как стандартный AHCI, функций рэйда не имеет, но есть одна особенность:

     

    Накатил XPEnoboot_DS3615xs_5.2-5644.4/ DSM 5.2-5644 Update 2

    Собрал Raid-0 о четырех дисках и скорость чтения/записи у меня получилась - устоявшаяся 160Мб/с, пиковая 185Мб/с.

    Печально, даже скорости двух дисков нету. Не то что обещанные 6Gb/s

    Немедленно подключил 2 диска к материнской плате (2 остались на марвеле) и скорость стала устоявшаяся 324Мб/с, пиковая 360Мб/с

     

    Пока разбирался с контроллером выяснил, что в DSM оказывается есть 3 планировщика I/O: noop, deadline, cfq

    По умолчанию выбран cfq. Посмотреть:

    cat /sys/block/sda/queue/scheduler

    Изменить:

    echo deadline > /sys/block/sda/queue/scheduler

    Что это такое спрашивайте у гугла. При моих нагрузках изменение планировщика на скорость не влияет. Возможно если у вас многопоточная нагрузка (3 TV и пара ноутов одновлеменно) и хорошие диски, то noop может вам помочь. Диски сами должны лучше знать как выстроить очередь. Если диски старые или из зеленой серии - думаю стандартный cfq ваш выбор.

     

    Также сообщаю, что можно менять длину очереди NCQ (редко, но бывают проблемные диски на которых нужно отключать)

    Посмотреть:

    cat /sys/block/sda/device/queue_depth

    Изменить:

    echo 31 > /sys/block/sdg/device/queue_depth

     

     

    Еще можно изменить (в моем случае увеличить) буфер Read-Ahead и File System Read-Ahead.

     

    По умолчанию у меня стоит 4096. Значение должно быть кратно 512.

    Ознакомиться зачем это read ahead, опережающее чтение

    Посмотреть для дисков:

    blockdev --getra /dev/sda

    blockdev --getra /dev/md2

    Изменить для дисков:

    blockdev --setra 16384 /dev/sda

    blockdev --setra ?????? /dev/md2

     

    Почему вопросики для рейда?

    Для начала скажу, что увеличение значения для одиночного диска больше чем в 4 раза - не дает прироста скорости :sad:

    Для рейда все сложнее. Рейд состоит из нескольких физических устройств, поэтому для MD устройства нужно ставить размер кэша в зависимости от того что вы накрутили для физических устройств в составе рейда и от типа рейда.

    Например:

    Для raid-0, raid-1 и raid-10 все просто: у меня 4 диска, на каждый диск я увеличил кэш в 4 раза(до 16384) 4*16384=65536. пишем blockdev --setra 65536 /dev/md2. Держим в голове что это кэш чтения и на безопасность при записи не влияет.

     

    Для raid-5 получается выкидываем 1 диск из расчетов.

    Для raid-6 выкидываем 2 диска.

     

    Для файловой системы:

    Посмотреть:

    blockdev --getfra/dev/md2

    Изменить:

    blockdev --setfra ????? /dev/md2

     

    Опять вопросики...

    Файловая система лежит поверх raid как минимум должно быть не меньше чем поставили --setra /dev/md2 , а самое главное - проверяйте значения до того как менять достаточно часто значения на вышележащих устройствах система меняет сама.

     

    Хорошо если дочитали до конца. Вся эта жесть позволяет поднять скорость чтения на двух ХДД с 120МБ/с до ~150-160Мб/с.

    Тестировать на 4х ХДД мне не хватило терпения.

     

    Параметры не сохраняются после перезагрузки!!!

  5. DSM можно выключать\перезагружать через вэб интерфейс - правый верхний угол и нажать на имя пользователя.

    Через консоль зайти root'ом - перезагрузка:

    reboot

     

    выключение:

    shutdown -h now

    вместо now можно написать цифру и тогда выключится через указанное время(кажется минут)

     

    бэкап делать нужно в несколько заходов

    1. бэкап через родной интерфейс

    2. бэкап папок /volumeX/@appstore и там же есть еще несколько скрытых папок которые начитаются с @.

     

    Рекомендую установить пакет Midnight Commander из http://packages.synocommunity.com/ горазда наглядней видно где что лежит.

  6. Сохранность данных гарантирует бэкап на как минимум 2 носителя разнесенных географически. Какой старый синолоджи и какая версия ДСМ? если с 4.1 прыгнуть сразу на 5.2 может и не прокатить. Я предлагаю: выключить оригинал и вынуть первый диск из raid1. Попробовать запустить хренологию, если все заработает - подождать пару дней и несколько перезагрузок. Ну и перенести остальные диски. Все это время ДСМ будет ругаться на отсутствие второго диска

  7. О! У меня есть такая железяка. И винты есть. Только не нашел как запустить этот контроллер на хренологии...

     

    Ни как. Бросьте затею. Уверены что у Вас SAS диски? Котролер то SAS и не на любую мамку встанет, и биосы не видят его, в общем всё как у НР.

    Всё что делает НР только для НР :twisted:

    Вокруг этого контроллера все HP:

    HP ProLiant ML370 G5

    8xSAS HP DG146ABAB4

    Вот щас батарейку для контроллера перепаяю и вообще все отлично будет.

    [spoiler=батарейка]01c3d4de04ec.jpg

     

     

    Еще у меня имеется HP Ultrium LTO-3 SCIS и HP LTO-5 Ultrium 3000 SAS, но эти штуки, можно сказать, конкуренты синолоджи.

  8. Скорее всего phpmyadmin дописывает служебную инфу для себя. Точно незнаю. Бэкап базы можно открыть любым текстовым редактором и сравнить. Можно загрузить бэкап в соседнюю тестовую базу и проверить все ли нормально

  9. кстати http://www.dns-shop.ru/product/dca0893d ... 2/#opinion

     

    Недостатки:

    Глючное железо, каждые два дня отпадает, сначала распадается массив, потом отпадает сам контроллер.

    Перестановка драйвера не помогает, проблема не определена, видимо проблема железа так как и на других компах та же проблема...

     

    похоже железка ненадежная

  10. you have backup - it's very good :smile:

     

    First go to: Main menu -> Storage Manager -> HDD/SSD and find disk number which was not initialized (not Volume number)

    88efd2247f08.png

     

    In this example - Disk 4.

     

    Usually Disk3 in DSM is SCSI(0:0) in ESXi (VM settings), Disk4 is SCSI(0:1) and so on.

     

    Go to ESXi, xpenology VM, Edit settings.

    My fail Disk is 4 so it will be SCSI(0:1)

    438742f5a47e.png

     

    In Disk File you see [750] xpenology/xpenology_1.vmdk. [750] is Datastore Name.

     

    Go to host configuration, Storage, mark Datastore name, click properties and you will find physical HDD name and serial number

    9716ea31ecef.png

  11. Т.е. использовать не репликацию/резервирование, а использовать встроенный архиватор tar, и планировщик задач с заданиями, для запуска скриптов по созданию и бэкапа БД, и файлов сайта?

    И таким образом я получаю желаемый результат бэкапов по установленным в планировщике параметрам/датам?

    Буду пробовать реализовать.

    Репликация это создание идентичных копий. Меняешь на одном сервере - меняется на другом. А тебе нужен бэкап.

     

    На первом сервере получается:

    mysqldump testshop -u testshop -ptestshop > /volume1/public/testshopbackup/testshopDB_`date +%Y-%m-%d_%H_%M`.sql
    tar -cf /volume1/public/testshopbackup/testshopFiles_`date +%Y-%m-%d_%H_%M`.tar /volume1/web/testshop/*
    find /volume1/public/testshopbackup/ -type f -mtime +7 -delete
    

    и включить службу FTP сервера

     

    На втором сервере.

    wget -P /volume1/testshopbackup_server2/ --user=admin --password 123 -nc ftp://192.168.1.37/public/testshopbackup/testshop*.*
    find /volume1/public/testshopbackup/ -type f -mtime +30 -delete
    

    Manpage:wget

     

    -P /volume1/testshopbackup_server2/ папка в которую будет качать wget

    --user=admin --password 123 пользователь и пароль от ftp на первом сервере. обязательно два минуса.

    -nc пропускать уже скачанные файлы

    ftp://192.168.1.37/public/testshopbackup/testshop*.* откуда собственно качать файлы. ну и адрес сервера и путь к файлам свои подставить

    find /volume1/public/testshopbackup/ -type f -mtime +7 -delete удаляет в папке файлы старше 7 и 30 дней соответственно.

     

    В планировщик хоть через каждый час. смотря как часто редактируется

    • Like 1
  12. Для архивации файлов сайта проще всего использовать встроенный архиватор tar:

    tar -cf /volume1/public/testshopbackup/testshopFiles_`date +%Y-%m-%d_%H_%M`.tar /volume1/web/testshop/*

    Архиватор tar

     

    /volume1/public/testshopbackup/testshopFiles_`date +%Y-%m-%d_%H_%M`.tar куда положить и как назвать файл

    /volume1/web/testshop/* путь к папке с сайтом и * - архивировать все файлы и подпапки

  13. Файл бэкапа может называться как угодно. Для добавления даты в имя файла:

     mysqldump testshop -u testshop -ptestshop > /volume1/public/testshopbackup/testshopDB_`date +%Y-%m-%d_%H_%M`.sql

    на выходе получится файл: testshopDB_2016-01-06_20_07.sql

    Второй сервер на какой операционке работает?

    Файлы проще забирать вторым сервером из папки на первом.

  14. Я нашел куда запилить виртуалочку :smile:

    mysqldump ttrss -u ttrss -p123 > /volume1/1/backup.sql
    

    mysqldump ;комманда

    ttrss ;имя базы

    -u ttrss ;имя пользователя для доступа к базе. раздельно

    -p123 ;пароль 123. Обязательно слитно.

    > /volume1/1/backup.sql ;символ > означает сохранить из базы и дальше путь к файлу. можно написать mysqldump ttrss -u ttrss -p123 < /volume1/1/backup.sql и это восстановит базу из бэкапа.

     

    сам скрипт я запускаю через планировщик от root.

  15. Делаю новый нас и массив SHR с двумя дисками.

    Переливаю по сетке данные на новый нас.

    Добавляю еще один диск в SHR.

    Все правильно, но нужно учесть, что один диск в SHR без защиты данных. Два диска в SHR это RAID-1 и изменить никак нельзя. Соответственно свободного места будет доступно только 3Тб.

    После добавления третьего диска будет RAID-5 и 6Тб места. Операции по добавлению дисков достаточно длительные(до нескольких суток). Зависит от скорости дисков, контроллера, процессора. Выключать или перезагружать категорически нельзя, а еще лучше иметь ИБП.

    В интерфейсе DSM нельзя смотреть время до конца процесса, только проценты :sad:

    Можно смотреть через консоль или через SSH:

    cat /proc/mdstat

     

    Админы делятся на тех, кто еще не делает бэкапы, кто уже делает и тех которые потом еще и проверяют бекапы...

×
×
  • Create New...