Die Anfänge der Sammlung reichen beinahe bis in die Gründungszeit des Museums zurück. 1852 bot der Ankauf der venezianischen Privatsammlung Barbini-Breganze die entscheidende Weichenstellung für die Zukunft. Der Schwerpunkt auf Werke des 17. und 18. Jahrhunderts wurde richtungsweisend für die nachfolgenden Erwerbungen. Darüber hinaus bedeuteten die Vermächtnisse von Dr. Hermann Scheufelen im Jahre 1948 und von Gerhard Freiherr von Preuschen 1971 einen weiteren Zuwachs an qualitativ wertvollen Gemälden.