Я делал все через Putty и через консоль докера, в этом разницы нет.
Я нашел проблему чуть позже! В моем случае дело в версии DSM 5.2., а точнее устаревшем компоненте докера под 5.2.
В нем отсутствовал docker-compose, его отдельно доустановил внутри контейнера, но тут и вылезла несовместимость версии pi-hole и слишком старого компонента докера для старой DSM. Пробовал поставить старые версии pi-hole, вылезали уже другие ошибки и разные, я уже почти забил на это, но потом решил обновить DSM до 6.2.2 и это помогло, все поставилось как надо! Спасибо!
P.s: в docker-compose.yaml ругалось на строку: parent: ovs_eth0
Заменил на: parent: eth0