Владение на этом берегу Москвы-реки овеяно легендами, не имеющими прочной исторической основы: называются имена боярина Ивана Никитича Берсеня-Беклемишева и даже знаменитого опричника Малюты Скуратова. Считается, что деревянный дом с каменным подклетом существовал здесь уже в XV-XVI веках – его следы были найдены реставраторами. Тем не менее, ясность в вопросе о владельцах наблюдается лишь с начала XVII века, когда земля переходит к сыновьям Степана Кириллова. В середине того же столетия единоличным хозяином территории становится думный дьяк Аверкий Кириллов – богатый купец и государственный деятель. На пике своей карьеры он возглавлял Казённый приказ, приказ Большого дворца и ряд других учреждений, ведавших торговлей, финансами государства и сбором налогов. Деятельность Аверкия Кириллова оборвалась в 1682 году, когда во время стрелецкого бунта стрельцы, поддерживающие царевну Софью, убили его как сторонника рода Нарышкиных.
Общественное положение Кириллова не могло не отразиться на облике его дома. В результате каменные палаты были выстроены с большим размахом: пышные наличники, изящные полуколонны и пилястры, карнизы с поребриком – всё это свидетельство о высоком благосостоянии хозяев. Богатство дома ярко описывали иностранные гости, дивившиеся не только красивым фасадом и впечатляющим двором с садом, но и богатым убранством с дорогой мебелью и обстановкой. О времени постройки дома можно судить по круглой плите в центре свода большой палаты – закладному камню с датой «1657». Соседняя церковь святой Троицы, более известная под названием Никольской на Берсеневке, также была выстроена Кирилловым, считалась его домовым храмом и даже соединялась деревянным переходом непосредственно с палатами. Здесь же в 1682 году был похоронен и сам Аверкий Кириллов.

Разные варианты оформления окон.

Окончательно облик здания сформировался в начале XVIII века, когда владение принадлежало дьяку А.Ф. Курбатову. В это время был выстроен верхний этаж, ранее бывший деревянным, а фасад получил европейские детали: волюты с тонкой белокаменной резьбой, руст на углах и каменный козырёк над входом. По одной из версий, достройкой дома ведал архитектор Иван Зарудный.

В дальнейшем палаты Аверкия Кириллова перешли в казну и были заняты различными учреждениями: камер-коллегией, межевой канцелярией, разрядным архивом, московской казённой палатой, сенатской курьерской командой. С 1870 года дом стал цитаделью защиты культурного наследия России: здесь обосновалось Императорское Московское археологическое общество во главе с графом Уваровым. После революции здание занимали различные научные учреждения, ныне здесь располагается Российский институт культурологии. Реставраторы поддерживают облик дома и продолжают исследование его истории.
После палат, в глубине пустыря, оставшегося от снесённых здесь в недавнее время при строительстве Патриаршего пешеходного моста домов, торцом к набережной, стоит выкрашенное в жёлтый цвет двухэтажное кирпичное здание.

Ему повезло больше его соседей - спасла древность. В основе его – палаты XVI века. Кто был строителем дома не известно. В последующие времена здание неоднократно перестраивалось. Между подвалом и первым этажом сохранились сводчатые и коробковые перекрытия. Недавно дом отремонтировали, при этом был утрачен старинный деревянный накат по деревянным балкам между первым и вторым этажами. На противоположном от Москвы-реки, восточном фасаде восстановлены узорочные наличники парадного этажа. На южном – наличники подклета: простые с треугольным фронтоном XVII века и барочные, ушастые XVIII столетия.
Их можно увидеть под пластиковым навесом в приямке, отрытом в культурном слое возле стен здания.