Nachdem der bereits 1530 vor den Festungswällen Gießens angelegte Alte Friedhof trotz mehrfacher Erweiterungen nicht mehr ausreichte, wurde Ende des 19. Jahrhunderts die Anlage eines neuen Friedhofs geplant. Als Standort wählte man den unbebauten Rodtberg etwas abseits der Stadt. Die Planungen begannen 1886, und dem Zeitgeschmack der Jahrhundertwende entsprechend wurde die Anlage als Parkfriedhof gestaltet. Am 6. Juli 1903 wurde der Friedhof mit der Bestattung des Dienstmädchens Luise Becker offiziell seiner Bestimmung übergeben. Der bisherige Stadtfriedhof am Nahrungsberg trägt seither den Namen Alter Friedhof.
Bemerkenswert ist die frühe Offenheit der Anlage. Der damalige Oberbürgermeister Feodor von Gnauth plante einen konfessionsneutralen Friedhof, und seit 1908 besteht auf dem Gelände ein eigener jüdischer Friedhof mit eigener Trauerhalle, deren teilbares Dach auch orthodoxen Trauergästen die Teilnahme an Beisetzungen ermöglichte. 1926 wurde auf dem Friedhof das erste Gießener Krematorium eröffnet. Das heutige Gebäude von 1975 gilt als eines der ersten klimaneutral betriebenen Krematorien Deutschlands.
Da Gießen rasch wuchs und schon die Toten des Ersten Weltkriegs ein Ehrenfeld erhielten, musste das Areal bereits in den 1930er Jahren erstmals erweitert werden. Heute erstreckt sich der Friedhof über rund 8 Hektar im Norden der Stadt. Seit 1995 gibt es ein muslimisches Gräberfeld, und vier Gräberfelder mit etwa 1400 Gräbern erinnern an die Opfer beider Weltkriege. So spiegelt der Neue Friedhof bis heute mehr als ein Jahrhundert Gießener Stadtgeschichte wider.