Het huis dateert uit de vijftiende eeuw. Toen woonde er een raadsheer van Karel de Stoute. Het pand kende diverse verbouwingen. Enkele onderdelen, zoals een dakkapel en stenen toren, werden gesloopt en in 1913 – voor de Wereldtentoonstelling – werden de gevels gerestaureerd in een Vlaamse neorenaissancestijl. Die gevels zijn zogenaamde conventiegevels, waarvan de stad in 1913 beloofde ze honderd jaar te onderhouden.
Het huis werd in 1981 als monument beschermd en is in 2012 grondig gerestaureerd.
De Lieve
De Lieve is een kanaal dat vanaf 1251 van Gent, beginnend bij het Gravensteen, naar het Zwin bij Damme gegraven werd. Enkele eeuwen lang was het economisch belang van de Lieve voor Gent zeer groot, onder andere voor de drukke handel met Engeland. Naarmate het Zwin meer en meer verzandde, nam ook het nut van de Lieve langzaam af. Naar huidige normen kon het kanaal sowieso slechts kleine schepen aan: maximaal 4,5 meter lang, 2,4 meter breed en 90 cm diep. In 1547 gaf keizer Karel V toestemming voor het graven van de Sassevaart, (later vervangen door het kanaal Gent-Terneuzen), zodat Gent een veel directere verbinding had met de Noordzee. Ook de economische macht van steden als Brugge, Sluis en Damme ging achteruit, wat nog meer bijdroeg aan de teloorgang van de Lieve. Het kanaal dat altijd eigendom geweest was van de stad Gent, werd dan ook verkocht in 1828 aan de aangelanden.