Le château de La Tour-de-Peilz, aujourd'hui abritant le Musée suisse du jeu, incarne une histoire fascinante remontant au XIIe siècle. Fondé vers 1160, il fut d'abord le domaine des seigneurs de La Tour de Vevey, une famille qui donna son nom à la localité. À l'origine, le château comprenait une imposante tour principale, dont les fondations subsistent encore aujourd'hui sous le jardin suspendu qui s'étend au sud-est du corps de logis principal. Cette tour, d'une taille considérable pour l'époque (16,5 m x 11,5 m), servait non seulement de refuge mais également de résidence seigneuriale, témoignant de sa hauteur estimée entre 16 et 22 mètres.

Au XIIIe siècle, sous l'influence des comtes de Savoie, Philippe puis Amédée V, le château subit des extensions majeures. Deux tours circulaires furent ajoutées à l'enceinte, renforçant sa défense. L'aula originale fut agrandie pour accueillir les appartements privés du seigneur, tandis qu'une nouvelle chapelle seigneuriale fut érigée à proximité. Les Savoie entourèrent également le château d'une seconde enceinte basse, les murs de braies, qui délimitaient une zone de circulation défensive appelée les lices. Ces structures étaient conçues pour protéger le château, le transformant pratiquement en île en cas d'attaque, les fossés étant largement inondés par les eaux du lac.

L'accès principal au château se faisait autrefois par un pont surplombant les larges fossés, depuis la rue du Château, au nord. La zone située au nord-est et à l'est des fossés, non construite jusqu'à aujourd'hui, était réservée aux vergers du château, éloignant les habitations du bourg pour des raisons défensives. Cette stratégie témoigne de l'importance stratégique du château de La Tour-de-Peilz au cours des siècles, ainsi que de son évolution architecturale marquée par les Savoie.