Honderden jaren geleden was dit het woonhuis van de schout van Hulst, de commissaris van de politie. Het was voorzien van een gevangenis (“het steen”). Daarom heet deze straat waarschijnlijk ook ‘Steenstraat’. Eind zestiende eeuw werd het de rentmeesterswoning en graanschuur voor de monniken van de abdij Ten Duinen bij Koksijde. Na de verovering van de stad door de protestanten, werd het pand in beslag genomen en overgedragen aan de prins van Oranje. Een tijdlang heette het toen “Princenhuys”. Eind achttiende eeuw kwam het pand in handen van particulieren. Er werden onder andere een jeneverstokerij en een rooms katholiek jongenspatronaat in gevestigd. In 1979 werd het pand gekocht door de gemeente Hulst en ingericht als museum. Het museum is in 2022 verhuisd naar 's Landshuis, recht tegenover het refugium.