Kārļumuiža kā administratīvi saimnieciska vienība veidojusies 18. gadsimtā. Pirms tam teritorija bija Cēsu pils un vēlāk – Cēsu pilsmuižas (Schloß Wenden) īpašums. Avoti liecina, ka vairums muižai piederošās zemnieku sētas pastāvēja jau 17. gadsimtā. Zviedru valdīšanas laikā sastādītās Cēsu pilsmuižas zemju kartes rāda, ka netālu no vietas, kur vēlāk izveidojās Kārļumuižas centra ansamblis, atradās Brausku (Brauschke), Vību (Wiebe), Bigunu (Biggun), Kalnavēršu (Kallnewers), Priežu (Prede) mājas, bet vistuvāk (iespējams, vēlākais centrs pat aizstājis) – zemnieku saimniecība Lāči (Latsche) un Jaunlāči (Jaunlatsch oder Aschekalln).
Jau 1755. gada vasarā Cēsu pilsmuižu nopirka baronu Volfu (Wolff) ģimenes locekļi. Jādomā, pēc viņu iniciatīvas arī tika izveidota atsevišķa saimnieciska vienība – Cēsu pilsmuižai piederoša pusmuiža, kas sākotnēji tika nosaukta par Volfa muižu (Wolfsruh). Tās pastāvēšanu 1757. gadā apliecina Leonhards fon Strīks (Stryk) norādot, ka saimniecība bijusi 7 5/8 arklu liela. Parasti Vidzemes pusmuižas 17. un 18. gadsimtā pildīja saimnieciska rakstura funkcijas, atkarībā no izmantošanas veida tajās cēla lopu fermas, graudu klētis vai citas lauksaimnieciska rakstura ēkas, kā arī mājas kalpotāju un pārvaldnieka dzīvokļiem. Pusmuižu centra un atsevišķo ēku arhitektoniskais plānojums bija pakļauts praktiskiem mērķiem, reprezentācijas funkciju atstājot otrajā plānā. Sākotnēji šādi uzdevumi bijuši arī Volfa, vēlāk Kārļumuižai, tomēr jau 18.gs beigās muiža iegūst arī reprezentatīvu arhitektūru un funkcijas.
