Gården ble bygd i 1661.
Den het da Hyttskrivergården og lå under Røros Kobberverk.Ei smeltehytte lå nede ved elva som renner forbi. Den ble nedbrent av svenske tropper både i 1678 og 1679. Hytta ble bygd opp igjen i 1680 og var i drift til 1692. Slegghaugen ligger der fortsatt.
Den eldste bygninga på Karlsgården er desverre borte.
Navnet har gården fått etter Anders Karlsen Sundt, som kjøpte gården i 1884.
