Dzimis strādnieka un kolhoznieces ģimenē Tulas apgabalā, Rvi sādžā.

1965.g. iestājies Rjazaņas augstākajā gaisa desantnieku skolā.

1969.- 1971. g. dienējis Kauņā. Lietuvā

1971.- 1978.g. - pasniedzējs Rjazaņas augstākajā gaisa / desantnieku skolā

1981.- 1983. un 1985.-1988. Gračovs dienēja Afganistānā, tostarp komandēja padomju 103. gaisa desanta divīziju.

1984.g. dienē Kauņā, Lietuvā

1988.-1990.g. mācās PSRS Bruņoto spēku ģenerālštāba akadēmijā

1990.gadā Gračovs tika iecelts par Padomju Savienības gaisa desanta karaspēka pavēlnieku.

1991.gada puča laikā 19.augustā pēc Valsts ārkārtas stāvokļa komitejas rīkojuma Gračovs ieveda Maskavā 106.gaisa desanta divīziju, kas sāka apsargāt stratēģiski svarīgus objektus un gatavojās Krievijas Augstākās padomes ieņemšanai.

1991.g. 20.augustā Gračovs pārgāja Krievijas prezidenta Borisa Jeļcina pusē. 23.augustā pēc puča izgāšanās tika iecelts par PSRS aizsardzības ministra pirmo vietnieku. 1992. gada aprīlī pēc Padomju Savienības izjukšanas tika iecelts par Krievijas aizsardzības ministra pirmo vietnieku, tā paša gada maijā - par aizsardzības ministru. Šajā amatā Gračovs bija iesaistīts korupcijas skandālos.

1996. gadā pēc prezidenta vēlēšanu pirmās kārtas Jeļcins atcēla Gračovu no aizsardzības ministra amata, jo to pieprasīja pirmajā kārtā trešo vietu ieguvušais ģenerālis Aleksandrs Ļebedjs. Ļebedjs kurš apmaiņā pret atbalstu Jeļcinam pirms otrās kārtas tika iecelts par Drošības padomes sekretāru.

1997.g. 18. decembrī tiek iecelts par valsts kompānijas Rosvooružeņije padomnieku, kur dažādos amatos ir līdz 2007.g.

Kopš 2007.g. Omskas ražošanas apvienības "A. Popova Radiorūpnīca" padomnieku grupas vadītājs.

2007.g. beigās atvaļināts rezervē.

Miris no sirds-asinsvadu slimību saasinājuma