Gerrit Visser van Hazerswoude (1807-1872) was de oudste zoon van Dirk Gerritsz. Visser (1757-1819), koopman en houtzager te West-Zaandam, en Aaltje Vas (1769-1835). Aaltje Vas was afkomstig uit een oude en rijke familie uit Wormerveer. Haar vader, Vasterd Claasz. Vas (1729-1808), was olieslager en eigenaar van meerdere molens en daarnaast actief in de stijfselmakerij, de schelpzandmalerij en potasbranderij en in de papierfabricage. Door het kinderloos overlijden van haar drie broers (Dirk ca. 1763-1827, Cornelis, ca. 1766-1802 en Jan ca. 1773-1824) werd Aaltje Vas de erfgename van een groot aantal bedrijven en een groot vermogen. Deze werden na haar overlijden in 1836 overgedragen aan haar twee zoons: Gerrit Visser en Vasterd Vas Visser (1811-1844). Gerrit Visser werd de eigenaar van de houthandel en -zagerij van zijn vader, meelmolen de Zwarte Ruyter (Zaandam), alsmede huizen en tuinen in onder andere Zaandam. Vasterd Vas Visser werd de eigenaar van onder andere het oliebedrijf (de firma Vas & Comp.), loodwitmolen de Rob, de schelpzand- en potasmolen het Ruimpje of de Schenker, en het familiehuis in Wormerveer. *  Een deel van de nalatenschap bleef onverdeeld. * 

Gerrit Visser was een rijk man. Vanaf 1837 hield hij kantoor in Amsterdam aan de Keizersgracht 666 (bij de Vijzelstraat) en was hij veel op reis naar het buitenland - onder andere naar 'de baden' - in zijn 'zeer gemakkelijke reisrijtuig'. *  In krantenadvertenties is hij terug te vinden als 'grondeigenaar' en 'zonder beroep'. *  In 1828 trouwde hij met Grietje Houttuyn (1807-1844), dochter van Hajo Houttuyn (1779-1843) en Claasje Nan (1779-1854) uit Zaandijk. Zij waren, net zoals Vasterd Claasz. Vas, eigenaars van een groot aantal oliemolens (de firma Hayo Houttuyn en Compagnie) en erfgenamen van het vermogen van de papiermakers Van der Ley. * 
Vanaf 1841 droeg Gerrit Visser de naam 'Visser van Hazerswoude' als gevolg van de aankoop van de ambachtsheerlijkheid Hazerswoude. Vóór 1859 verhuisde hij naar hofstede de Westerhout onder Heemstede. * 

De kinderen van Gerrit Visser en Aagje Houttuyn waren Dirk Visser van Hazerswoude (1830-1890) en Clasina Alida Visser van Hazerswoude (1839-1912). Dirk Visser was jurist, lid van de Tweede en Eerste Kamer, waterschapsbestuurder en actief op het terrein van landbouw en zuivelbereiding. Hij stichtte onder andere de zuivelschool te Alphen, hij was oprichter van het Landbouw-weekblad en de landbouwtentoonstellingen in Noord- en Zuid-Holland en voorzitter van de Hollandsche Maatschappij van Landbouw. *  In 1859 trouwde hij met jonkvrouw Marie Anne Catharine van Merlen (1835-1922). Clasina Visser trouwde met een broer van jonkvrouw Van Merlen: jonkheer Jean Baptiste van Merlen (1833-1909). Na het overlijden van Gerrit Visser kochten zij in Heemstede het landgoed Bloemendaal.