Bei der Planung des Zentralfriedhofs wurde davon ausgegangen, dass sich Wien bis zum Ende des 20. Jahrhunderts zu einer Metropole mit bis vier Mio. Einwohnern entwickeln würde. Auf der Suche nach einem geeigneten Areal wurden verschiedene Grundstücke in die engere Auswahl genommen. Eine Studie der geologischen Reichsanstalt schränkte die Wahl schließlich auf das Grundstück in Kaiserebersdorf ein, da dieses Gebiet über ideale Bodenbeschaffenheit und ebene Lage verfügte.

Um eine angekündigte Demonstration gegen den Friedhof zu verhindern, wurde er einen Tag vor der Eröffnung, am 31. Oktober 1874, in aller Stille eingeweiht und als interkonfessioneller Friedhof eröffnet. Bereits am Eröffnungstag wurden die ersten 13 Toten begraben. Einer davon, Jakob Zelzer, ein Privatier aus der Josefstadt, (1802 - 1874) wurde in einem Einzelgrab bestattet. Die anderen 12 fanden in einem Schachtgrab ihre letzte Ruhe. Zelzers Grab existiert noch heute und gilt als das erste Grab am Zentralfriedhof.

Bei der Bevölkerung kam der neue Zentralfriedhof übrigens nicht gut an. Die Anreise von der Stadt war weit und beschwerlich und die Vegetation wurde vielfach als trostlos empfunden. Viele Wiener:innen ließen sich deshalb bevorzugt in den Friedhöfen der Vororte begraben. Um den Zentralfriedhof attraktiver zu machen, legte die Stadtverwaltung 1881 eine Ehrengräberanlage an und begann Prominente von anderen Friedhöfen zu exhumieren. Die Idee hatt Erfolg - immer mehr Wiener:innen wollten nun auch dort begraben sein, wo die Berühmtheiten der Stadt lagen.
Anfang des 20. Jahrhunderts wurde das Hauptportal und die beiden Aufbahrungshallen errichtet, ebenso die Karl Borromäus-Kirche. Ausserdem wurde der Friedhof während insgesamt siebenmal erweitert. Ursprünglich hatte der Friedhof elf Tore, heute kann er über sechs Eingänge betreten werden.