С их прибытием у нас составилась семья. Ирина Николаевна Арефьева
воспоминания об иркутском периоде жизни Сергея Волконского. «Старик Волконский – ему уже тогда было около 60 лет – слыл в Иркутске большим оригиналом. Попав в Сибирь, он как-то резко порвал связь со своим блестящим и знатным прошедшим, преобразился в хлопотливого и практичного хозяина, и именно опростился … С товарищами своими он хотя и был дружен, но в их кругу бывал редко, а больше водил дружбу с крестьянами; летом пропадал по целым дням на работах в поле, а зимой любимым его времяпровождением в городе было посещение базара».56
Н. А. Белоголовый с удивлением отмечал, что Волконский с удовольствием беседовал с крестьянами о хозяйстве, вместе с ними мог перекусить «краюхой пшеничной булки». Николай в Иркутске хотел видеть Сергея Петровича человеком знатного рода, заслуженным, умудренным житейским опытом, и внешне соответствующим своему уровню. Но сам Волконский, пройдя сибирскую ссылку, уже не мог выглядеть «светским человеком», точнее, не считал это нужным.
50-е годы для Волконских были наполнены разнообразными семейными событиями. Сергею Григорьевичу к тому времени исполнилось 62 года, Марии Николаевне – 45 лет. Они уже вошли в средний возраст жизни, и их теперь волновала судьба их подросших детей гораздо больше, чем выяснение каких-то своих отношений, давно уже сложившихся. Сын, Михаил Сергеевич, в 1849 году окончил Иркутскую гимназию, причем с золотой медалью. Вскоре он стал чиновником особых поручений при губернаторе Восточной Сибири Н. Н. Муравьеве. Он и дальше будет успешно подниматься по ступенькам карьерной лестницы, ничем не беспокоя своих родителей.
Дочь Елена, в семье ее называли Нелли, доставила родителям много переживаний и волнений. Она рано вышла замуж за чиновника из числа приближенных к Н. Н. Муравьеву – Дмитрия Молчанова. Мария Николаевна согласилась с желанием дочери, но Сергею Григорьевичу и некоторым друзьям Молчанов не понравился. Брак состоялся, но тревог и молодой супруге, и родителям он принес немало.
Первые годы семейной жизни Елены и Дмитрия были счастливыми, родился сын Сережа, но семья, крепкая и дружная как будто рассыпалась. В июле 1852 года Сергей Волконский оказался в одиночестве: Молчановы уехали в Красноярск и дальше, Михаил находился на службе, жена лечилась в Забайкалье на курорте Дарасун. Письмо, написанное Марии Николаевне, наполнено разными чувствами: и заботой, и обидой, и даже родительской ревностью к тому, что дети живут самостоятельной жизнью, не такой, как им, родителям, мечталось.
«Передо мной сейчас два твоих письма, мой дорогой, любимый друг, от 10 и 28 июня, единственные, которые я получил от тебя из Тарасуна. Я не могу тебе выразить словами, милый друг, как я счастлив твоему отношению ко мне, возврата твоего доверия и нежности ко мне. Чтобы я был достоин этого до конца моих дней …Я не получаю известий непосредственно от Молчановых (дочери и зятя) за исключением тех, которые пришли из Красноярска (…) Я им пишу часто, и в последний раз я их упрекнул за молчание. Мы им в глаза смотрим, а они часто к нам спиной поворачиваются.