Cēsu pilsmuižu kopā ar Volfa muižu 1777. gadā nopirka majors Karls Eberhards fon Zīverss. Volfa muižai tika mainīts nosaukums, tā tagad kļuva par Kārļumuižu (Karlsruhe vai Karshof) par godu jaunajam īpašniekam Karlam Eberhardam fon Zīversam. Viņš pārbūvēja ne tikai galveno mājvietu Cēsīs, bet 18. gadsimta 80. gados izveidoja sava laika prasībām atbilstošu barokālu muižas centra ansambli ar parku arī Kārļumuižā, tā plānojums redzams zvērināta mērnieka T. J. Cīgenhirta (Ziegenhirt) 1796. gadā zīmētajā kartē: centrā, uz galvenās ass, pretim iebraucamajam ceļam novietota kungu māja. Heincs Pirangs barokālo ķieģeļu ēku nosaucis par ievērības cienīgu „maison de plaisance“ jeb holandiešu–franču stila ārpilsētas izpriecu namu. Tā viena garenfasāde vērsta pret parādes pagalmu, ko norobežo četras celtnes.
Pagalma centrā paliela apaļa puķudobe. Kungu mājas otrai garenfasādei pieslēdzas parks (izpriecu dārzs – Lustgarten): ēkas priekšā piebraucamā ceļa ieskauta apaļa puķudobe, koku stādījumi un mākslīgi veidota dīķu sistēma.
Veidot reprezentatīvu centra ēku ansambli īpašniekus mudināja vairāki apstākļi. Kaut precīzu ziņu trūkst, dažas netiešas norādes arhīva dokumentos liek domāt, ka grāfu Zīversu ģimenes locekļi izmantojuši Kārļumuižu par savu dzīvesvietu.
