Если подключить диск к работающей системе как внутренний, то он будет отформатирован и все с него пропадет. Попробуйте сначала подключить его через USB как внешний. Форматирования не будет и ext4 раздел будет виден через usbshare(xxx). Можно будет перенести данные на внутренние разделы. Потом, можно этот диск ставить вовнутрь, форматировать и добавлять к существующим.
Если места внутри поднятого сервера не хватает или старые диски организованы в массив RAID5, то делайте бэкап, ставите диски в систему и востанавливайте. Если RAID1, то любой из зеркальных дисков содержит всю информацию и подключение через USB может помочь. В таком случае после проверки, что оба видны по очереди, можно ставить один вовнутрь, форматировать и переносить через USB со второго. Потом второй добавить вовнутрь.
Хорошо что сначала спросили. Опасения потерять данные не напрасны.