Voß'scher Hof, Nortorf zurück