Una Biblioteca relativa ai musei artistici vantava come promotore Luca Beltrami, una grande figura per Milano e per il Castello, e dopo i primissimi anni era già attiva dal 1936 nell’attuale Sala del Tesoro, accogliendo vari fondi. Fu poi risparmiata dai bombardamenti bellici del 1943 che devastarono altri Istituti del Castello come l’allora Biblioteca Civica. La Biblioteca d'Arte andò via via ampliandosi e strutturandosi nell’attuale sede dei primi anni Cinquanta nel Cortile delle Armi, aprendosi ulteriormente al pubblico e al costante arricchimento scientifico.