Одной из дочерей А.К. Перовского была Анна. Юной девушкой Анну отдали замуж за уже немолодого графа К.П. Толстого. Брак был крайне несчастливым, после рождения ребенка Анна Алексеевна приняла решение уйти от мужа и поселилась с маленьким сыном в поместье своего брата А. Перовского. А. Перовский был известен в литературных кругах под псевдонимом Антоний Погорельский. Он стал настоящим духовным наставником своего племянника. Так пишет об этом Алексей Константинович Толстой: "Еще шести недель я был увезен в Малороссию матерью моею и моим дядею со стороны матери, Алексеем Алексеевичем Перовским, бывшим позднее попечителем Харьковского университета и известным в русской литературе под псевдонимом Антона Погорельского. Он меня воспитал и первые мои годы прошли в его имении". Но как только Алеша немного подрос - дядя и мать перевезли его в Петербург. В ту пору ходили слухи о связи брата и сестры Перовских и о том, что якобы настоящим отцом Алеши является его дядя А.Перовский. Никакого подтверждения эти слухи не нашли.
В Петербурге Анна Алексеевна погрузилась в атмосферу балов и светских салонов. Вступив в пору увядания, она жадно уже ловила восторженные взгляды мужчин на балах - напоминание об ушедшей молодости. Анна Алексеевна была добра и щедра, но не знала границ своей воле, сорила деньгами... В магазинах, поставлявших наряды ко двору, она отдала приказ посылать ей те же материи, которые покупались императрицей. На каком-то торжестве Анна Алексеевна появилась в шляпе с белыми страусовыми перьями - точно такой, какая была на императрице. Император Николай Павлович заметил это, и о его недовольстве передали Анне Алексеевне, но та не отступилась от своего тщеславного обыкновения...
В 1835 году умер Алексей Алексеевич Перовский. Он мучился всю ночь, а наутро позвал "друга Анниньку" и племянника, сделал распоряжение о своем имуществе и долгах. Все его имения переходили в собственность Алеши, но распоряжаться ими должна была Анна Алексеевна. Анна Алексеевна все не верила в тяжелое состояние брата, и теперь она горько рыдала в своей комнате.
После смерти брата Анна Алексеевна и Алексей Константинович переезжают в имение Красный Рог. Анна Алексеевна в это время захвачена хозяйственной деятельностью. Она переносит на другое место флигель (из всех краснорогских зданий он один только и сохранился), она самовластно вводит строгости по отношению к крестьянам, которые при сердобольном и снисходительном Перовском привыкли к безнаказанности за потравы и порубки в господских владениях. Ожесточенные новыми порядками, двадцать пять крестьян из Рославца подстерегли в Пашицком лесу главного лесника, напали на него и избили до полусмерти. Вообще же Анну Алексеевну характеризовали как сильную и очень властную женщину. Большое влияние она имела и на сына.Анна Алексеевна не выпускала сына из поля зрения ни на месяц. Скептически она относилась и к возлюбленным сына.
Лишь однажды Алексей Константинович пошел против матери и женился на С.А. Миллер, хотя мать была категорически против этого союза.
С 50-х годов Анна Алексеевна болеет. В ночь на 2 июня 1857 года Анна Алексеевна скончалась. Накануне вместе с сыном они были в гостях. По возвращении она ушла в свою комнату спать в девять вечера. Утром Анна Алексеевна не вышла к завтраку. Встревоженный Алексей Константинович прождал ее до одиннадцати, а потом постучался в дверь спальни. Но дверь оказалась запертой. Когда дверь взломали, Толстой увидел мать, лежавшую навзничь, с протянутой рукой. Вызванный из Зимнего дворца врач пустил ей кровь, но оживить Анну Алексеевну не удалось...
Дали знать Константину Петровичу Толстому. Он тут же приехал. Всю следующую ночь отец и сын Толстые провели у гроба. Утром они разговаривали, расстались тепло, условившись встретиться на похоронах. Похоронили Анну Алексеевну в Троице-Сергиевой пустыни, в восемнадцати верстах от Петербурга, на южном берегу Финского залива.