祝枝山的科举之路跟文徵明一样坎坷，但比文徵明好一些，考了5次才中举人，又考了7次仍与进士无缘。后来到广东做了个知县，等到人家要给他升官，他说自己不善于做官，辞职不干了。
唐伯虎在科举路上遭遇牢狱之灾，余生悲哀，不过即便他顺利考中进士，步入仕途，以他的个性，肯定也会甩手走人的。
文徵明在翰林院待到新鲜期一过，就萌生了辞职南归之意。
同僚中一些人欺负他没有学历，当众发难说：“我衙门中不是画院，乃容画匠处此耶？”视文徵明为画匠，故意贬低他，让他难堪。这样的龌龊事，加上官场中许多无意义的争论，让原本不善钻营和交际的文徵明十分苦恼，急欲摆脱。
他不停地辞职，但吏部始终不放人。
在干了三年半后，他终于得到批准退休还乡。离开京城那天，他写了一首诗，兴奋地宣告自己又可以在青山绿水间过闲适的生活了：
独骑羸马出枫宸，回首长安万斛尘。
