وفاته بطوس، في يوم الاثنين رابع عشر جمادى الآخرة، سنة خمسٍ وخمسمائة (٥٠٥ هجرية) ؛ وعمره خمس وخمسون سنة.
قال أبو الفرج بن الجوزي في كتاب "الثبات عند الممات": "قال أحمد أخو الإمام الغزالي: لما كان يوم الاثنين وقت الصبح، توضأ أخي أبو حامد وصلى وقال: عليَّ بالكفن، فأخذه وقبَّله، ووضعه على عينيه، وقال: سمعاً وطاعة للدخول على الملك، ثم مدَّ رجليه، واستقبل القبلة، ومات قبل الإسفار، قدَّس الله روحه".
هذا وقد رثاه الأديب أبو المظفر محمد الأبيوردي، الشاعر المشهور، بأبيات فائية منها:
مضى وأعظمُ مفقودٍ فُجِعْتُ بِه | من لا نظيرَ لهُ في الناسِ يخلُفُه |
وتمثَّل الإمام إسماعيل الحاكمي بعد وفاته بقول أبي تمام من جملة قصيدة مشهورة له:
عجبتُ لصبري بعدَهُ وهوَ ميتٌ | وكنتُ امرءاً أبكي دماً وهوَ غائبُ |
على أنها الأيامُ قد صِرْنَ كلُّها | عجائبَ، حتى ليس فيها عجائبُ |
وقد دُفن الغزالي رحمه الله بظاهر الطابرّان، وهي قصبة طوس، رحمه الله تعالى.