Дом, в котором находится Санкт-Петербургский Союз художников, является одним из самых известных и престижных мест в художественной и культурной жизни Санкт-Петербурга. На протяжении веков проходили здесь славные и памятные мероприятия, связанные с культурной жизнью города. Организовывались рисовальные классы, проводились выставки, собрания и, особенно, запоминающимися событиями для дома на Большой Морской были мистические опыты Калиостро, которые проводились в одном из подвалов здания.
Пожалуй, художественная история дома начинается с указа Екатерины II, (1763г.) когда здание приобрели в казну и подарили И. П. Елагину, одному из доверенных лиц императрицы. Именно при нем место на Большой Морской улице стало известно всему просвещенному обществу Петербурга. В своем петербургском доме И. П. Елагин устраивал собрания, на которых выступали Д. Фонвизин и А. Сумароков, давал спектакли «Немецкий комедиальный дом». Владелец знатного дома, принадлежавший масонской ложе, гостеприимно принимал вольных каменщиков не только со всей России, но и из многих европейских стран. После смерти Елагина, до 1877 года здание не использовалось как место встреч деятелей литературы, театра и прочих художеств, там располагалась резиденция и канцелярия генерал-губернатора, Санкт-Петербургского полицеймейстера и других административных учреждений столицы. И только 1 июля 1877 году по указу императора Александра II участок и здания были отданы в полную собственность Обществу Поощрения Художеств, основанному еще в 1820 году. Здесь располагались художественные рисовальные школы и были открыты выставочные залы и помещения для различных собраний. Главной задачей Общества являлось содействие развитию отечественного искусства. Стипендиатами общества были Карл Брюллов, Александр Иванов, Тарас Шевченко, Петр Клодт и др. В выставочных залах проходили интересные выставки и выступления деятелей искусства и литературы. Конец Х1Х столетия запомнил выдающиеся выставки ‘Товарищества передвижных выставок’ и ‘Мир Искусства’. В 1877 году дом №38 перешёл к Обществу поощрения художников. В 1877-1878 годах по проекту Максимилиана Егоровича Месмахера здание было коренным образом реконструировано. Была упразднена церковь, устроены выставочный зал, помещения для рисовальной школы и первого в России художественно-промышленного музея. Этот музей был создан по инициативе Дмитрия Васильевича Григоровича, его имя заведение получило после смерти писателя. Григорович состоял секретарём Общества в течение 20 лет и жил здесь в одном из флигелей.
С 1882 года общество стало именоваться Императорским обществом поощрения художеств, именно это название и даты «1820-1890» можно видеть на фасаде здания. Они были выложены в виде мозаики при перестройке здания в 1890-1893 годах по проекту Иеронима Севастьяновича Китнера. При этой перестройке здание со стороны Большой Морской улицы и дворовые флигели стали четырёхэтажными, на крыше была установлена аллегорическая фигура «Торжествующий гений». Скульптура была создана Р. Р. Бахом по эскизу И. С. Китнера, отливалась на заводе Штанге.
В здании Общества поощрения художеств проходили выставки художников-передвижников. Здесь бывали И. Е. Репин, М. А. Врубель, В. В. Стасов, А. А. Блок. В 1880 году здесь экспонировалась всего одна картина — «Лунная ночь на Днепре» А. И. Куинджи.
С 1906 по 1917 год в доме №38 работал художник Николай Константинович Рерих. Он жил в части здания со стороны Мойки. С 1906 года он возглавлял Рисовальную школу общества. В школе по его приглашению преподавали И. Билибин, В. Матэ, В. Щуко, А. Щусев и другие. Специальные классы были открыты для женщин (этюдный, архитектурный, художественной вышивки). При школе работали библиотека, музей и хор. В школе также преподавал брат Рериха архитектор Борис Константинович, следивший за состоянием всего здания. Он же осуществлял внутренние переделки.
В 1890-х годах со стороны Мойки работали — Санкт-Петербургское политехническое общество и Общество содействия русской промышленности и торговли.
В 1929 году Общество поощрения художеств упразднили, имущество распродали. В этом же году на квартире Б. К. Рериха был произведён обыск с целью обнаружения материалов, уличающих его в шпионской деятельности. Ничего подобного здесь найдено не было, но в 1931 году Борис Константинович был осуждён на три года за продажу ценных вещей за границу.
В 1932 году здание передали Союзу художников РСФСР. В блокаду, 18 июля 1942 года, здесь открылась выставка «Ленинград в дни Великой Отечественной войны». В 1943 году состоялась выставка В. М. Конашевича. Мемориальная доска внутри здания хранит имена деятелей искусства, погибших во время войны.
С 1978 года здесь работает Выставочный центр. В его коллекции состоит около 9 000 произведений. На выставках здесь можно приобрести работы современных художников.