关键时刻，孟浩然却因紧张吟诵了一首《岁暮归南山》，其中那句“不才明主弃，多病故人疏”让唐玄宗误以为孟浩然在埋怨自己，龙颜大怒。孟浩然因此彻底断送了自己的仕途。

此后，孟浩然的求职之路愈发坎坷。他曾结识了愿意提携他的韩朝宗。韩朝宗对他颇为认可，打算向朝廷举荐他。

两人约好一同前往长安，然而在约定的日子，孟浩然却因与朋友喝酒而忘记了此事，放了韩朝宗的鸽子。这一任性的举动，让他再次失去了入仕的机会。

经历了多次挫折后，孟浩然逐渐对仕途感到绝望。他回到襄阳，重新过上了隐居的生活。这一时期，他的诗歌创作达到了巅峰。

他写下了《过故人庄》：“故人具鸡黍，邀我至田家。绿树村边合，青山郭外斜。开轩面场圃，把酒话桑麻。

待到重阳日，还来就菊花。”这首诗以平淡的语言描绘了田园生活的美好，展现了孟浩然对自然与友情的热爱。

然而，孟浩然的晚年并非全然平静。48岁时，他应张九龄之邀出任幕僚，但不久便因北川辞官回乡。740年，王昌龄途经襄阳与孟浩然畅饮。