李白一生游历江湖，纵情诗酒。自称“五岳寻仙不辞远，一生好入名山游。”对南岳向往已久，于肃宗乾元元年（758）秋取道长沙，溯湘江而上，以游衡岳。

宋代陈田夫撰的《南岳总胜集》和清代光绪年间编修的《湖南通志》及李元度《南岳志》都收录了李白写的一首《游方广寺》诗。诗是：“圣寺闲栖睡眼醒，此时何处最幽清？满窗明月天风静，玉磬时闻一两声。”诗中描绘的情景正是名山古刹的深秋景况。

肃宗乾元2年（759），李白遇赦，第三次到湖南。这年，他在武昌写了《与诸公送陈郎将归衡阳》诗，诗前有序。诗的前四句：“衡山苍苍入紫冥，下看南极老人星。回飚吹散五峰雪，往往飞花落洞庭，”用夸张手法极写南岳之高。这是诗人在先一年秋天实地游历南岳的基础上，加以想象而凝成的名句。八百年后，明代政治家张居正在登上祝融峰顶，环视诸峰，极目远眺时，曾感叹说：“太白五峰晴雪飞花洞庭之句，盖实景也。”