
Det blev opført som et jagtslot, og arkitekten var Lauritz de Thurah, som samtidig var i gang med Christiansborg Slot inde i København. Facaden er inspireret af tysk barok, og den er rigt udsmykket med ornamenter og figurer. Interiøret er også barok for fuld udblæsning, og et godt eksempel er spisesalen med søjler af marmor, forgyldt stuk og indlagte spejle i vægge og loft. Da slottet blev bygget var der en taffelmaskine i spisesalen. Det var en elevator, som kunne fragte maden fra køkkenet og op i salen. Her endte den direkte på herskabets bord, som på den måde fik fred til at dinere, skæmte og flirte, uden at have et hold nysgerrige tjenere i nakken.
I dag bruges slottet kun ved særlige kongelige arrangementer, og det er ikke åbent for publikum.
Eremitagen er et populært stop på turen gennem Dyrehaven. Her er udsigt til hjortene på sletten, og fra bagsiden er der udsigt hele vejen ned til Øresund.
Eremitageslottet har ikke navn efter beliggenheden. Eremitagen har sit navn efter den indretning i spisesalen, der kunne skyde et veldækket bord op gennem gulvet, så man kunne spise ”en hermitage”, som på fransk betyder alene