Dari Langitan pindah ke Pondok Pesantren Cangaan, Bangil, Pasuruan. Kemudian pindah ke Pondok Pesantren Keboncandi, Pasuruan. Selama belajar di Pondok Pesantren ini beliau belajar pula kepada Kiai Nur Hasan di Sidogiri, 7 kilometer (km) dari Keboncandi.
Kehausannya akan ilmu agama terus bertambah. Mbah Kholil muda berkeinginan untuk menimba ilmu ke Makkah. Niatnya itu tidak disampaikan kepada orangtuanya, apalagi meminta ongkos kepada orangtua. Mbah Kholil akhirnya pergi ke pesantren di Banyuwangi dan nyambi menjadi “buruh” pemetik kelapa pada gurunya. Untuk setiap pohonnya, dia mendapat upah 2,5 sen.
Uang yang diperolehnya tersebut dia tabung. Sedangkan untuk makan, Mbah Kholil menyiasatinya dengan mengisi bak mandi, mencuci dan melakukan pekerjaan rumah lainnya, serta menjadi juru masak teman-temannya.
Menginjak usia 24 tahun, Mbah Kholil memutuskan untuk pergi ke Makkah. Di Mekkah, Mbah Kholil belajar dengan Syeikh Nawawi Al-Bantani (Guru Ulama Indonesia dari Banten). Di antara gurunya di Makkah ialah Syeikh Utsman bin Hasan Ad-Dimyathi, Sayyid Ahmad bin Zaini Dahlan, Syeikh Mustafa bin Muhammad Al-Afifi Al-Makki, Syeikh Abdul Hamid bin Mahmud Asy-Syarwani. Beberapa sanad hadits yang musalsal diterima dari Syeikh Nawawi Al-Bantani dan Abdul Ghani bin Subuh bin Ismail Al-Bimawi (Bima, Sumbawa).
Sewaktu berada di Mekkah untuk mencukupi kebutuhan sehari-hari, Mbah Kholil bekerja mengambil upah sebagai penyalin kitab-kitab yang diperlukan oleh para pelajar. Sepulangnya dari Mekkah, Mbah Kholil dikenal sebagai seorang ahli Fiqh dan Tarekat.
Bahkan beliau dikenal sebagai salah seorang Kiai yang dapat memadukan kedua hal itu dengan serasi. Dia juga dikenal sebagai al-Hafidz (hafal Al-Qur’an 30 Juz). Sepulang dari Mekkah, Mbah Kholil mendirikan pesantren di daerah Cengkubuan, Bangkalan.
Tak butuh waktu lama, banyak santri berdatangan dari desa-desa sekitarnya. Namun, setelah putrinya, Siti Khatimah dinikahkan dengan keponakannya sendiri, yaitu Kiai Muntaha, pesantren di Cengkebuan itu kemudian diserahkan kepada menantunya.
Mbah Kholil kemudian mendirikan pesantren lagi di daerah Demangan, 1 km dari pesantren lama. Di pesantren baru ini, Mbah Kholil juga cepat memperoleh santri lagi, bukan saja dari daerah sekitar, tetapi juga dari Pulau Jawa.
