Kartano perustettiin jo ritarikunnan aikoihin Vanamoisan kylään,nykyaikaisen Papiorgiin.
Nykyisen paikkaan perustettiin kartano vuonna 1632.
Vuonna 1742 meni omistajan Schlippenbachin tytär naimisiin Karl Gustav Fersenin kanssa.
Fersenin suku oli kotoisin Pommerista ja tuttu Liivinmaallakin.
Vuonna 1791 tuli omistajaksi Hans Heinrich Fersen, joka oli Venäjän tsaarin armeijan johtaja ja kaatui Puolan sodassa. Hänen poikansa Karl Gustav II Fersen asui Pietarissa ja sinne haudettu.
Karlin poika Paul oli tsaarin hovissa ja samoin Paulin poika Nikolai.
Fersenin suvulle kuului Olustveren kartano vuoteen 1918.
Vuodesta 1920 toimii kartanossa maatalouskoulu.
Päärakennuksessa sijaitsee matkailukeskus.
Puisto oli aikaisemmin ranskalaistyylinen.
Vuonna 1903 puisto uusitti englantilaistyyliseksi. Suunnittelijaksi oli Georg Kuphaldt.
Puiston vanhin tammi on yli 300 vuotta.
