De Kunstenbibliotheek bevindt zich in een 17de -eeuws pand dat wordt aangeduid als het huis van de abdis. Het huis van de abdis was een gastenverblijf dat behoorde tot de voormalige cisterciënzerinnenabdij die werd opgericht in de 14de eeuw. De zusters van de abdij stonden in dienst van het aangrenzende hospitaal.