Grunt pod przyszły cmentarz zakupiła podlegająca Rosyjskiemu Kościołowi Prawosławnemu parafia w Berlinie w 1892 za 30 tys. marek. Na nabytej działce planowano wznieść także cerkiew. 3 czerwca 1893 został położony kamień węgielny pod niewielką cerkiew Świętych Konstantyna i Heleny zaprojektowaną przez Alberta Bohma.

Na obszarze przeznaczonym na cmentarz rozrzucono warstwę specjalnie przywiezionej ziemi z Rosji. 2 czerwca 1894 odbył się pierwszy pochówek. Cmentarz szybko stał się miejscem pogrzebów najbardziej znacznych rodów rosyjskiej arystokracji: Kropotkinów, Golicynów, Daszkowów, chowano na nim oficerów i urzędników carskich, a także emigracyjnych artystów i intelektualistów. Pod północnym murem cmentarza wzniesiono pomnik kompozytora Michaiła Glinki (pochowanego w Petersburgu).

W czasie II wojny światowej cmentarz został zdewastowany. Pamiątką po powojennej restauracji jest dziewięć zabytkowych dzwonów wywiezionych z ZSRR przez wojska hitlerowskie i odnalezionych w Berlinie zdobytym przez Armię Czerwoną. Dzwony te ustawione zostały w pobliżu bramy wejściowej na cmentarz. Prace remontowe, ratujące wiele zaniedbanych nagrobków przed zupełnym zniszczeniem, zostały ponownie podjęte w latach 90. XX wieku i zakończone w 2005, głównie za pieniądze prywatnych ofiarodawców.