后世俗儒根本不能理解王安石的用心，总是以己度人，以为放着好好的宰相不做，肯定有难以言喻的苦衷，肯定是不得已的，因此捏造了不少故事和流言来解释他们自己心中的疑惑。如谓王安石归山之后，一直希望再次起用，一次神宗派中使前来赐金，王安石初闻大喜，以为将再得用，后来发现只是赐金，于是气急败坏，干脆赌气不受，将黄金转送寺院。又道神宗厌弃王安石，故八年不复召，临终亦以司马光托孤，不用王安石。还称元丰改官制，王安石大吃一惊，认为如许大事不让他知道，肯定是皇帝对他有怨气，于是做诗歌颂元丰，以谄媚神宗，得全性命云云。
此类妄说既不知安石，又不明神宗，更不知二人相知之深、情谊之厚。王安石既然下决心归隐山林，又怎么会期待被再次起用？他要是依恋相位，又何必一再辞职？如果神宗厌弃王安石，又怎么会一再遣使问候，终生恩遇不衰？以神宗与王安石相知之深，知道他这次是彻底下了决心，无论如何也不会再出来了，他又何必打扰一个退职的忠心耿耿的老臣，让他不得安宁？元丰改官制，怎么会跟一个退职的人商量，王安石岂是如此不明事理、气量狭小的人？以王安石的个性，让他谄媚皇帝、以求保身是不可想象的，以为神宗有意加害安石更是痴人说梦，造谣诬蔑。
王安石以自己的忠心和诚意赢得了神宗的理解，使他得以未到耳顺之年即悠游林下，与猿鹤为伍，同山川为伴，自由自在地度过了最后的十年。