In de middeleeuwen was het landgoed onderdeel van de Marke Hattemer (Hattemer Oldenburger). In 1813 werd het verkocht aan baron van der Heijden. In 1934 kocht overgrootvader jonkheer Rudolf Dittlinger het landgoed in afgebrande staat van de familie Passmann, van kasteel Slangenburg bij Doetinchem.
Tot 1943 liep de stoomtrein Doetinchem-Zelhem-Ruurlo over Het Zand.
Grootvader Ir. Piet de Fremery heeft Het Zand ingeplant met o.m. exoten als douglas, larix, Amerikaanse eik, maar ook veel grove den, inlandse eik en beuk.
Verder plantte hij berken, tamme kastanje, krentenstruik, acacia, digitalis, en zorgde voor laangezichten en doorkijkjes. Op de akkers groeit rogge, tarwe, mas en gras.