Muzułmański Cmentarz Tatarski został założony w 1867 po zamknięciu z powodu zapełnienia Muzułmańskiego Cmentarza Kaukaskiego przy ul. Młynarskiej, z inicjatywy warszawskiego imama Seifetdina Chosianowa Sinnajewa.

Pierwotnie miał powierzchnię około 0,5 ha, zaś obecnie zajmuje około 1 ha.

Początkowo byli na nim chowani głównie muzułmańscy żołnierze carskiej armii stacjonującej w Warszawie. Później zaczęto grzebać tu innych muzułmanów. Jest on miejscem spoczynku Polskich Tatarów, głównie wywodzących się z obszaru Wielkiego Księstwa Litewskiego. Podczas I wojny światowej spoczęli tu zmarli w niemieckiej niewoli żołnierze carscy wyznający islam. Cmentarz został zniszczony przez Niemców podczas II wojny światowej (w 1942 na teren cmentarza wjechały niemieckie czołgi i inne pojazdy pancerne kryjąc się przed radzieckim nalotem, w 1944 w rejonie Powązek trwały zacięte walki w czasie powstania warszawskiego).

Obiekt znajduje się pod opieką Wojewódzkiego Konserwatora Zabytków od 7 grudnia 1984.

Na cmentarzu wyróżnia się nagrobek w kształcie minaretu z szarego kamienia należący do Abduła Halika Usmi, zmarłego w wieku 29 lat dnia 13 marca 1932. W latach 60. grób ten odwiedziła aktorka Jadwiga Smosarska i złożyła na nim wiązankę kwiatów. Podobno Halik Usmi był wielbicielem aktorki, porzucił dla niej narzeczoną (muzułmankę), a nieodwzajemniona miłość zakończyła się samobójczym strzałem.