Sinds de 15de eeuw maakte dit plein deel uit van het uitgestrekte voorhof dat lag vóór het omwalde kasteel van het Prinsenhof, vandaag te situeren tussen de Mirabellostraat en de Sanderswal. Aan het begin van het Zilverhof bevond zich de belangrijkste toegangspoort tot het keizerlijk slot, het zogenaamde Prinsenhof.
De huidige vorm en bebouwing van het plein dateren grotendeels uit het vierde kwart van de 18de eeuw. Ooit werd de rustige, groene sfeer er verstoord door een centraal ingeplante elektriciteitscabine, maar die is inmiddels verdwenen. In de plaats staat nu het beeld van Keizer Karel, dat voordien bij het Duivelsteen stond.
Omringd door olmen en beuken ademt dit pleintje opnieuw de aangename en serene sfeer die zo kenmerkend is voor deze wijk.