Untuk menghilangkan jejak, Ghazali pergi ke Damaskus (Suriah) lalu Baitul Maqdis.
Di kota suci itulah dia mengarang Ihya Ulumuddin (sumber lain menyebut, kitab monumental itu ditulis saat pengarangnya tinggal di Masjid Damaskus).
Saat mengunjungi makam Nabi Ibrahim AS di Hebron, dia mengucapkan sumpah, tak akan lagi bersedia menjadi pegawai negeri, termasuk mengajar di lembaga-lembaga yang didirikan penguasa.
Usai dari Yerusalem, Imam Ghazali melak sanakan haji ke Tanah Suci serta mengunjungi makam mulia Rasulullah SAW pada 1096. Setelah itu, dia pergi menuju Tus, daerah tempat kelahirannya.
Di sanalah dia kemudian mendirikan halaqah atau majelis ilmu yang diperuntukkan para calon sufi.
Pada 1105, Fakhr al-Mulk mendesaknya agar bersedia mengajar di Madrasah Nizamiyah lagi.
Dengan alasan tertentu, dia pun mengalah sehingga kembali ke Nishapur, pusat pemerintahan saat itu, untuk memenuhi permintaan putra Nizam al-Mulk itu.
Tugas ini tak lama diembannya. Dirinya pamit dari kota itu untuk kembali membimbing para murid di halaqah yang didirikannya.
Ulama yang zuhud dan wara ini menjalani kehidupan sederhana sebagai seorang sufi 10 tahun lamanya. Masyarakat sangat mencintainya sebagai sosok teladan dalam ilmu dan amal.
Pada 19 Desember 1111, Imam Ghazali meninggal dunia di Tus dalam usia 53 tahun.
Ibnul Al-Jauzi dalam al-Muntadzim menuturkan riwayat, menjelang wafatnya (Imam Ghazali), sebagian para muridnya meminta, `Berwasiatlah kepadaku, wahai guru.’Maka al-Ghazali menjawab, `Hendaklah engkau tetap ikhlas.’ Nasihat itu terus terucap hingga ajal menjemputnya.
