徐经有三个儿子，但只有次子徐洽继承父志攻举子业。徐洽从小聪颖有文采，由博士子弟补国子监生，每次考试都得第一，然而七次参加会试都榜上无名。
徐洽有五子，长子衍芳博览群书，为人温文有礼，颇具名门风范。其父科场失意，寄厚望于衍芳，特地修筑了一座书屋让他诵读其中，名“湖庄书屋”。
兄弟分家时，徐衍芳虽然身为长子，却主动放弃祖屋而搬去书屋居住，精研静虑以求科举得中，结果却像其父亲一样屡试不中，饮恨终身。
徐衍芳有六子，第三子徐有勉就是徐霞客的父亲。虽然徐氏祖先不乏在朝为官者，但是科举之路走得都比较艰辛，这直接影响了徐有勉的人生志趣，继而也对徐霞客的志向产生了一定的影响。
徐有勉，字思安，号豫庵。他为人本分，急公好义。十八岁时，兄弟分家产，虽然按照规则，他一再投中祖上的大屋，却坚决辞让，去了偏僻的“湖庄书屋”。
