Kaptensbostället har inte alltid legat på den plats det nu ligger, nämligen i Haraldsarvet på Sollerön, cirka en km öster om kyrkan. Dit flyttades gården först år 1817.
Gården var ursprungligen belägen strax norr om kyrkan, exakt när den uppfördes vet man inte med säkerhet. Abraham Hülphers (1734-1798) som var köpman till yrket och tillika topografisk samlare, företog resor inom olika delar av Sverige, Finland och Ryssland. Under en av sina resor besökte han kaptensgården på Sollerön som då innehades av majoren friherre Wilhelm Armfelt. Från A. Hülphers dagboksanteckningar kan man läsa att över dörren fanns en tavla som meddelade namnen på alla tidigare innehavare av gården och ”at den år 1692 blifvit upbygd af Captain Bratt.” Vissa uppgifter pekar dock på att gården uppförts redan omkring 1680.
Gården skilde sig mycket från Sollerö-böndernas byggnadsvanor. Den var inte byggd i den gårdsfyrkant som man var van vid. Alla husen var knuttimrade och taken var täckta med näver mellan dubbla lager av trävirke. Boningshuset hade en planlösning som var symmetriskt sexdelad med sal i husets mitt framför förstugan, och två rum på vardera gaveln, av vilka ett var kök.
När flyttningen till Haraldsarvet påbörjades 1817 beboddes gården av Captain Hans Jakob Eggertz från Falun. Två år senare var flytten avslutad. Boningshuset som byggdes på det nya stället var nästan en exakt kopia av det gamla som började byggas 1725. Måtten inom knutarna var 27 1/2 x 14 1/2 alnar och 14 timmervarv högt. Rummen hade nu fått kakelugnar och väggarna var klistrade med papper och limfärgsmålade i ljusa färgtoner. Förstugan var målad i blekrött, salen ljusgredelin, förmaket var gult och sängkammaren var ljusblå. Den andra kammaren var blekröd och köket grått. Det var alltså en inredning som i enkelt utförande följde tidsmodet från 1800-talets början. Utvändigt var huset en rödfärgad timmerbyggnad med brädtak.
Från den gamla gårdsplanen flyttades ett stolphärbre från 1692 med tre bottnar och ett extra brädtak över ingången. Samma härbre finns kvar än i dag i tämligen oförändrat skick.
Vidare flyttades en ladugård, lada, en loge och ett hemlighus. En välvd gråstenskällare byggdes norr om mangårdsbyggnaden, eftersom jordförhållandena hindrade att källaren placerades under huset. Där över placerades bagarstugan. Senare byggdes det nuvarande boningshuset över denna källare som används än idag.
Någon exakt storlek på gården är omöjlig att fastslå före storskiftet som genomfördes under 1840-talet på Sollerön. Till bostället kom i och med skiftet att höra ca 15 tunnland åker, 42 tunnland sloge, 1460 tunnland skog.
Genom en lönereglering som trädde i kraft år 1835 förflyttades chefen för Mora kompani till det förutvarande löjtnantsbostället i Mora-Noret och det gamla kaptensbostället på Sollerön blev fanjunkareboplats. Denna nyreglering medförde för kaptensbostaden den förändringen att manbyggnaden helt enkelt fick flytta med kaptenen den en mil långa vägen över isen till Mora-Noret.
Den första fanjunkaren som kom till Sollerön var Daniel von Knorring. Han fick som ersättning bygga sig ett nytt hus som blev färdigt 1840. Man trodde väl att fanjunkarebostaden skulle bli en enklare byggnad, men den adlige fanjunkaren byggde sig ett hus som var bara några alnar kortare än kaptenshuset och som helt enkelt upprepade dess inredning. Efter ca 50 år hade även fanjunkarbostället på Sollerön spelat ut sin roll, eftersom Fredrik von Knorring, son till Daniel von Knorring flyttade till Orsa. Han hade då ett misslyckat äktenskap bakom sig med Knutz Karin Matsdotter från Bodarna. Ett 10-tal år efter att Fredrik von Knorring flyttade sålde Kronan gården med inägor på auktion medan skogen behölls. Därmed var kontakterna med Sollerön brutna för all framtid.
Under von Knorring-perioden hade också kronolänsman Johan Edvard Berg, född i Leksand, bott på gården, samt en kort tid före auktionen, inspektor Indrie Adolf Wijberg, därav det nuvarande namnet Vibergsgården.
I slutet av 1800-talet byggdes den nu befintliga boningshuset. Av de forna byggnaderna finns nu endast härbret kvar. Den gamla fanjunkarbostaden revs under andra världskriget och fick, liksom många andra gamla hus, sluta som sina dagar som pannved i kalla storstadshus.