Un premier palais en bois fut remplacé en 1872 par un palais de pierre à l'usage du Premier ministre de l'époque, Rainilaiarivony, celui qui épousa successivement trois reines afin de mieux asseoir son pouvoir. La façade du musée d'Andafiavaratra est plutôt originale mêlant différents styles mais reconstruite après un incendie en 1976.