Алексей Кириллович Разумовский был женат с 23 февраля 1774 года на одной из богатейших в России невесте, Варваре Петровне Шереметевой (02.01.1750—27.05.1824), второй дочери генерал-аншефа графа П. Б. Шереметева.

Около 1784 года по желанию мужа, Варвара Петровна оставила семью и жила в одиночестве в собственном доме в Москве — в 1796 году был закончен постройкой дом на Маросейке (№ 2). В браке имели трёх дочерей и двух сыновей.

• Пётр (1775—1835), в 1783 году был записан сержантом в Измайловский полк, обучался за границей в Геттингенском университете; адъютант у своего деда, гетмана К. Г. Разумовского; в 1797 году подполковник, позже полковник, командир гренадерского батальона, в армии своего дяди, генерала от инфантерии И. В. Гудовича, масон. В 1801 году вышел в отставку и был пожалован в действительные камергеры. Живя в Петербурге, наделал много долгов, что побудило его отца, хлопотать о переводе сына на службу в Одессу, в 1806 году, в чине действительного статского советника он был определен чиновником по особым поручениям при новороссийском губернаторе. Умер в Одессе 18 июля 1835 года.
• Кирилл (1777—1829), камергер, страдал умопомешательством, в 1806—1807 годах был узником Шлиссельбургской и Петропавловской крепости, позже был переведен в Спасо-Евфимиев монастырь, после смерти отца был перевезен в Харьков, где и умер в 1829 году.
• Екатерина (1777—1780)
• Варвара (1778—1864), с 1802 года замужем за князем Н. Г. Репниным-Волконским; была известной благотворительницей, много сделавшей для женского образования.
• Екатерина (1783—1849), любимая фрейлина императрицы Елизаветы Алексеевны и сотрудница Патриотического общества. С 1811 года была замужем за министром народного просвещения графом Сергеем Семеновичем Уваровым (1786—1855).

Избавившись от законной супруги, Алексей Кириллович поселил у себя мещанку Марию Соболевскую. У него было десять внебрачных детей, деликатно именовавшихся «воспитанниками» (пять сыновей и пять дочерей) — Перовских.