Построено оно в 1903 году по проекту архитектора К.К. Лыгина на средства томской купчихи II гильдии Натальи Ивановны Орловой. До 1917 г. в здании располагались: паровая типография Н.И. Орловой, редакция газеты "Утро Сибири", самая богатая и наиболее полная из всех имеющихся в городе публичных библиотек – библиотека Сибирской железной дороги, три магазина, два из которых с комнатами и квартира из пяти комнат с кухней и передней. На 2-ом этаже – железнодорожная поликлиника с зубоврачебной школой, небольшой театр и гостиница с рестораном. На 3-м этаже - железнодорожное управление, в 1904-1905 гг. - железнодорожное собрание и общественный Сибирский банк. В этом же доме жила и сама хозяйка усадьбы с семьёй. История дома тесно связана с революционными событиями 1903-1905 гг., активными участниками которых были рабочие типографии Н.И. Орловой. В борьбе с жестокой эксплуатацией они часто являлись инициаторами массовых выступлений трудящихся города. После 1917 г. в здании была размещена поликлиника рабочих и служащих Томской железной дороги, а в 1934 г. – общежитие Томского электро-механического института инженеров железнодорожного транспорта. В годы Великой Отечественной войны в здании работал эвакогоспиталь, а в период 1944-1981 гг. здание принадлежало обкому КПСС, а в дальнейшем Томскому областному художественному музею.