„Der geharnischte Mönch“ wurde Johann T’Serclaes Graf von Tilly wegen seiner Ausbildung als Jesuit im Volksmund genannt. Er war Oberbefehlshaber der katholischen Liga und gilt als einer der wichtigsten militärischen Führer des 30-jährigen Krieges. Am 30. Juli 1623 setzte er bei Höxter über die Weser und legte eine Besatzung in die Stadt. Der Name des Tilly-Hauses erinnert bis heute an eine Zeit des Schreckens. Die von Pestepidemien begleiteten Kriegsereignisse zogen Verwüstungen und einen drastischen Bevölkerungseinbruch nach sich.
Ob Tilly tatsächlich in der Westerbachstraße übernachtete, steht nicht zweifelsfrei fest. Wenn man der Überlieferung glaubt, war es jedenfalls eines der prächtigsten Bauwerke in der Stadt, das er ausgewählt hatte, um nach dem siegreichen Vorstoß eine Ruhepause einzulegen. Zahnschnitt und Zierstab sind Motive des Schmucks auf den vorspringenden Schwellen und den Füllhölzern. Der Erker ist ähnlich gestaltet wie der des in wesentlichen Teilen etwa zeitgleich errichteten Rathauses und mit den antiken Musen Erato und Thalia sowie mit Engelsköpfen beschnitzt.
Wie der gesamte Adelshof in der Westerbachstraße ist auch das noch leerstehende, seiner Sanierung harrende Tilly-Haus Zeugnis der engen Beziehung zwischen Höxter und Corvey. Schriftlich fassbar wird der Komplex erstmalig 1512, als der vormalige Stadthof der Petri-Propstei von der Abtei Corvey als Leibzucht an den corveyischen Kanzler Heinrich Brinkmann übergeben wird mit der Auflage, „Hof und Steinkammer Sankt Vitus zu Ehren“ wieder herrichten zu lassen. Mit der Belehnung des corveyischen Kanzlers Georg Kramer genannt Heisterman im Jahr 1556 gelangte der Lehnshof dann für drei Jahrhunderte in Familienbesitz. 1871 verkaufte die im 17. Jahrhundert geadelte Familie Heisterman von Ziehlberg den Hof an einen Höxteraner Kaufmann.
Das Anwesen bestand ursprünglich aus vier zum Teil zusammenhängenden Häusern: dem von der Abtei Corvey für Militär- und Verwaltungsaufgaben verliehenen Lehnshof in den rückwärtigen Häusern (Nr. 35 und 37) und dem als bürgerliches Eigentum erworbenen Eigenhof (Nr. 31 und 33) mit der Front zur Westerbachstraße. Haus Nr. 31 wurde im 19. Jahrhundert ausgegliedert und verkauft.