Dvoupatrovou barokní kolej s příčnými křídly ve tvaru obráceného „F“ vystavěl na místě vykoupených gotických domů v roce 1667 Giovanni Domenico Orsi. Místo pro stavbu bylo záměrně vybráno v sousedství nejvýznamnějšího kutnohorského chrámu, který byl ve správě jezuitů. Uměle navršenou terasu před kolejí uzavřela zeď se 13 sousošími světců. Sochy vytvořil v létech 1703 –1716 laický příslušník řádu František Baugut, též autor Morového sloupu.
Po zrušení jezuitského řádu (r. 1773) sloužila kolej vojenským účelům. V současné době v areálu sídlí Galerie Středočeského kraje, druhá největší galerie v ČR. Ve svých prostorech se věnuje prezentaci zejména českého moderního umění.