Wie die meisten Bauten aus dem Mittelalter hat die ehemalige Kartause eine komplexe Baugeschichte. Das grosse Anwesen an der Südostecke der Stadtmauer diente dem Bischof bis 1376 als gelegentliche Residenz. Der Oberzunftmeister Jakob Zibol kaufte den Komplex im Jahr 1401 und gründete eine Karthause. Die Klosteranlage wurde im Jahr 1480 vollendet. 1669 wurde der Bau zur Aufnahme von gleichzeitig Waisen und Strafgefangenen bestimmt. Heute befindet sich hier das Bürgerliche Waisenhaus.
Die grösste Sehenswürdigkeit im Waisenhaus ist unbestritten die sogenannte Zscheckenbürlin-Stube als Gästekammer für hochgestellte Besucher und Stifter. Hyeronimus Zscheckenbürlin (1461 – 1536) liess die Stube 1509 bauen, nachdem er 1502 Prior geworden war. Die Täferstube ist einer der elaboriertesten spätgotischen Innenräume weitherum und geht wohl auf den Bildschnitzer Hans Schicklin (+ 1529) aus Appenzell zurück.