Музей засновано на базі приватних колекцій, зібраних місцевим Комітетом охорони пам'ятників мистецтва і старовини, а також надходжень з міського музею витончених мистецтв і кабінету історії мистецтв Новоросійського університету. Колекція музею поповнювалась шляхом надходжень з Ермітажу, Державного музею образотворчих мистецтв імені О.С.Пушкіна, Київського музею західного та східного мистецтва.Музей розмістили в палаці Абаза, побудованому у 1856-1858 роках архітектором Людвигом Оттоном в стилі еклектики: риси барокової вдачі співіснують з елементами стилів ампір і рококо. Парадні сходи у вестибюлі, висічені з каррарського мармуру, зведені без балок-косоурів, що несуть, і разом з майданчиками утворює ефектну висячу споруду. Інтер'єри палацу Абази відрізняються багатим ліпним декором, різьбленням, фурнітурою з бронзи.