mmaaiill

Owncloud 8.0.2 и большие файлы

Recommended Posts

Xpenology, dsm upd4

 

Устанавливаю owncloud 8.0.2

по умолчанию, все как и полагается работает с ограничением в 512Mb

правлю php.ini,

.htaccess, .user.ini

php_value upload_max_filesize 16G

php_value post_max_size 16G

php_value memory_limit 512M

 

nginx.conf

client_max_body_size тоже задаю

 

httpd -k restart

 

и все равно при попытке аплоада файла 2GB+

Через браузер файл загружен частично...

 

Через клиента скорость заметно ниже и снижается (заметно это начинается с 2 Mb/s на гигабите и падает за пару минут до скорости ниже 1Mb/s и продолжает падать - данные при этом передаются, но все медленнее)

 

Есть идеи куда смотреть, куда что прописать?

может у кого есть опыт по настройке owncloud на Xpenology?

 

Либо ткните меня носом в другое стабильное облако для Xpenology - задачи:

0) Хранение на Xpenology

1) синхронизация по локалке

2) доступ извне

3) хочется доступ с ios и android

4) файлы не должны быть лимитированы 2-4Gb

5) несколько аккаунтов-раздача итп приветствуются, но не первоочередное требование.

Share this post


Link to post
Share on other sites

скорее всего проблема в php таймаутах выполнения скриптов, попробуйте прописать в .htaccess

php_value max_input_time 7200

php_value max_execution_time 7200

output_buffering = 0

Share this post


Link to post
Share on other sites

уже прописано, не спасает, сравнивал с необходимым временем, не то...

 

плюс сильно смущает скорость аплоада клиентом - если даунлоад 20+мб/с, то аплоад начинается с 2,5-3 и замедляется....

Share this post


Link to post
Share on other sites

и всё это присходит в локальной сети ?

ресурсы системы при этом сильно загружены ?

торрент качалки ?

Share this post


Link to post
Share on other sites

все в локалке гигабитной, ресурсы по нулям, стоит только голая хренология 4 апдейт, никаких качалок, MariaDB, PhpMyAdmin, Syno Cloud

железо под нее аж i5/8Gb...

ресурсы свободны по самое небалуйся...

сетка до компа на хорошем новом гигабитном свиче

аплоад через браузер заметно быстрее с той же машины, но ограничен 2Гб (изначально был 513Мб, после правок конфигов уперся в 2Гб)

Share this post


Link to post
Share on other sites

попробуй сначала потюнить сетевой стек в ядре, в /etc/sysctl.conf добавь:

vm.overcommit_memory = 1

net.core.rmem_max=458752

net.core.wmem_max=458752

net.core.rmem_default=458752

net.core.wmem_default=458752

net.ipv4.icmp_echo_ignore_broadcasts=1

net.core.netdev_max_backlog=2048

net.core.somaxconn=4096

net.ipv4.tcp_orphan_retries=1

net.ipv4.tcp_max_syn_backlog=4096

net.ipv4.tcp_syncookies=1

net.ipv4.tcp_window_scaling=0

net.ipv4.tcp_sack=0

net.ipv4.tcp_timestamps=0

net.ipv4.tcp_reordering=20

net.ipv4.udp_rmem_min=4096

net.ipv4.udp_wmem_min=4096

net.ipv4.tcp_rmem=8192 87380 8388608

net.ipv4.tcp_wmem=8192 65536 8388608

net.ipv4.tcp_mem=8388608 12582912 16777216

net.ipv4.udp_mem=8388608 12582912 16777216

vm.swappiness=30

vm.dirty_ratio=50

net.ipv4.tcp_no_metrics_save=1

 

и перечитай:

sysctl -p /etc/sysctl.conf

 

и еще момент, база own'a наверняка лежит в mysql (MariaDB) и я если честно не помню где он хранит загружаемые файлы, если в базе, то придётся и её тюнить наверняка

Share this post


Link to post
Share on other sites

ок, попробую вечерком добавить - посмотрю как изменится скорость...

 

хотя с другой стороны - в стеке ли дело - при копировании просто на шару \\diskstation\data таких проблем не наблюдаю - там скорость около 70Мб/сек выравнивается

так что тут скорее вопрос именно к передаче клиентом owncloud

 

ну сами файлы он в базу (даже загружаемые) имхо не кладет - это было бы сильно расточительно, по логике там должны быть ссылки на части файлов, на версии итп...

Share this post


Link to post
Share on other sites

Частичное ура - клиента заставил качать на относительно нормальной скорости - необходимо задать переменные окружения у клиента (Windows)

OWNCLOUD_CHUNK_SIZE = 104857600

OWNCLOUD_MAX_PARALLEL = 10

 

теперь еще найти бы решение для 2GB ограничения....

Share this post


Link to post
Share on other sites
Частичное ура - клиента заставил качать на относительно нормальной скорости - необходимо задать переменные окружения у клиента (Windows)

OWNCLOUD_CHUNK_SIZE = 104857600

OWNCLOUD_MAX_PARALLEL = 10

 

теперь еще найти бы решение для 2GB ограничения....

скорее всего тебе в другой форму надо по данному вопросу. Попробую завтра у себя поставлю и протестирую этот момент. завтра отпишу что получилось. из какого репозитория блал spk ?

Share this post


Link to post
Share on other sites

по поводу ограничения на размер файла - это ограничение судя по всему скорее браузерное, клиент сейчас заканчивает загрузку 7Gb+.

 

Сказать, что все круто, правда, не могу, смущает поведение скорости аплоада с течением времени.

Начинается аплоад на скорости около 20Mb/s, но постепенно падает и снижается до 7 Mb/s при файле 7,8Gb - для небольших (до 4Gb) падение будет незаметно, а вот при более крупных разница в скорости аплоада первой и второй половины файла очень большая (в несколько раз).

 

Тут думаю, это специфика работы уже либо клиента, либо самого ownclouda

Share this post


Link to post
Share on other sites
по поводу ограничения на размер файла - это ограничение судя по всему скорее браузерное, клиент сейчас заканчивает загрузку 7Gb+.

 

Сказать, что все круто, правда, не могу, смущает поведение скорости аплоада с течением времени.

Начинается аплоад на скорости около 20Mb/s, но постепенно падает и снижается до 7 Mb/s при файле 7,8Gb - для небольших (до 4Gb) падение будет незаметно, а вот при более крупных разница в скорости аплоада первой и второй половины файла очень большая (в несколько раз).

 

Тут думаю, это специфика работы уже либо клиента, либо самого ownclouda

 

это спицифика работы работы unix-сиситемы. Когда ты начинаешь аплоадить, то файл сначало аплоадится в кэш оперативной памяти (в мониторинге ресурсов можешь увидеть как у тебя вся память будет задействована в графе "Кэшировано"). Т.к. файл весь не помещается в кэш, то начинается вытеснение данных из памяти на жёсткие диски и начинается конкуренция за ресурсы. Вот именно в этот момент и падает скорость. Если есть возможность, поставь больше памяти.

Share this post


Link to post
Share on other sites

короче, запустилось, но при тесте в виде скормленной отдельной папкой части дропбокса - около 30 гиг 30000 файлов - стало падать после отправки около 100 файлов...

 

пациент скорее мертв имхо =((

Share this post


Link to post
Share on other sites

больше сколько? 8? 16?

 

может я не прав конечно, но ведь та же машина при аплоаде просто на шару такого не вытворяет?

и скорость там пусть и падает в среднем на 30% от топовой (что понятно), но на 30%, а не в 5-10-20 раз.

файл при этом один и тот же.

и опять же динамика копирования не зависит практически от файла, а зависит от сотношения пропускная способность канала/размер файла.

 

Т.е. замедление зависит скорее не от объема файла и памяти, а в моем случае скорее от времени, затраченного на аплоад файла.

 

Условно - прошла минута - делим скорость приблизительно в 1,8 раз от первоначальной, еще минута - еще в 1,8...

 

Пока я не увеличил %OWNCLOUD_CHUNCK_SIZE% я не мог добиться аплоада клиентом большого файла - он просто снижал скорость до 1kb/sec и привет, прогнозируемое время ожидания - вечность.

Увеличил - смог залить на гигабите 7,8 гиг через клиента (браузер так и не смог заставить, но это как я понимаю ограничениие HTTP/HTTPS + браузера)

 

сейчас сделаю последнюю попытку - уменьшу назад %OWNCLOUD_MAX_PARALLEL% - быть может тут собака порылась...

 

То есть пока количество файлов к обновлению не велико, а их объемы небольшие (что характерно для документов) - все ок, но при возрастании объемов клиент стал падать...

Share this post


Link to post
Share on other sites

вернул параметр, в целом пока работает, потестирую - отпишусь...

Share this post


Link to post
Share on other sites

хммм... у меня скорость не падает около 100мб/сек на цельном файле держит(в локалке) правда только хром, лиса выдает всего 10, что весьма странно, но почему то при загрузке файла больше 1.5gb пишет ошибка записи на диск, конфиги для аплоада поправлены на 20gb

Share this post


Link to post
Share on other sites