Toxin, большое спасибо!
Кажется, моя камера просто не удовлетворяет требованиям программы - в ней нет аппаратной поддержки MJPEG.
Если кто-то застрял на том, что webcam.cgi не пускает из-за того, что не может получить токен от /usr/syno/synoman/webman/modules/authenticate.cgi и пишет "Not authorized. Must either be logged in as user 'admin', or IP must be localhost", то я скомпилировал тестовую версию webcam.cgi с отключенной проверкой аутентификации. Скачать можно здесь:
https://www.dropbox.com/s/acye6mpdu4o01x2/webcam3.cgi
Поместите этот файл в /volume1/@appstore/webcam/public_html/ и назначьте права и владельца, как у оригинального файла. После чего можно протестировать, открыв из меню DSM 5 программу Webcam и поменяв в адресной строке браузера webcam.cgi на webcam3.cgi. Хотя бы будет видно, на чем у вас реально "затык". У меня написало "Error enumerating frame sizes. Webcam does not support hardware MJPEG compression? error 22, Invalid argument", и сразу стало ясно, что остается только найти другую камеру, а не мучаться с этой в попытках угадать, что же не так.