バス旅は大丈夫ですよ。

何度も路線バスやツアーバスでミルフォードサウンドは行ってますが、テアナウからでしたら、快適で誰も大変とは思わないでしょう。
クイーンズタウンからは多少強行軍というだけです。
実際はクイーンズタウンから日帰りバスツァーのほうが多いかと。
テカポ、クック山と並ぶ3大観光地ですから、時間も十分あることだし、行かれることを勧めます。
もちろん、また機会があればその時でもいいですが、北島も南島に負けず素晴らしいので、南島を回るときに３大スポットは回っておき、次回は北島オンリー（1週間は必要）というほうが効率的かと思います。