Жена Оттона Борисовича Рихтера (с 1867 года)  — Елизавета Константиновна Рихтер (1841—1916), приходилась мужу племянницей, дочь его брата Константина.

По словам современника, этот брак для всех был неожиданностью. «Рихтер любил позировать великосветским львом, ухаживал не без успеха за модными дамами, и никто не подозревал в нем глубокой привязанности к девушке, которая при отменных качествах ума и сердца, не блистала ни красотою, ни богатством, ни даже светским положением. По протестантским законам такие браки дозволялись; но она была православная. Ценя его прежнюю и настоящую службу, на это смотрели сквозь пальцы; но оставить его в Петербурге было невозможно, поэтому его назначили военным агентом во Флоренции».

Елизавета Константиновна была статс-дамой двора и кавалерственной дамой ордена Св. Екатерины малого креста. Состояла попечительницей Александро-Мариинского детского приюта; за 20 лет беспорочной службы была награждена Мариинским знаком отличия 2-й степени. За заслуги мужа 13 марта 1908 года вместе с сыном Оттоном была возведена в потомственное баронское достоинство Российской империи. Их дети:

• Елизавета (1868—1919), в первом браке за Владимиром Петровичем Мятлевым (1868—1946); во втором — за Паулем фон Заненфельдтом. Убита большевиками в Петрограде.
• Константин (1869—1884)
• Оттон (1871—1920), контр-адмирал, во время Гражданской войны служил у Колчака.
• Мария (1871—1945), замужем за князем Николаем Дмитриевичем Кропоткиным (1872—1937).
• Наталья (1877—12.11.1919), замужем (с 02.04.1896) за Генрихом фон Грот (1872—1946); скончалась в Берлине.