Rasulullah SAW menggelar sebuah kain persegi empat, dan para pemimpin kabilah diminta untuk memegang setiap sudut kain tersebut, lalu Rasulullah SAW meletakkan Hajar Aswad ke tempatnya.
Sekitar 180-an H, Abdullah bin Zubair memasang lingkaran pita perak di sekeliling Hajar Aswad. Pemasangan pita perak itu dilakukan agar Hajar Aswad tetap utuh dan tidak mudah pecah. Pemasangan pita perak berikutnya dilakukan pada 189 H, ketika Sultan Harun ar-Rasyid berkuasa.
Pada 7 Zulhijah 317 H, Abu Tahir Al Qarmuthi menduduki Kota Makkah dan mencopot Hajar Aswad dari tempatnya secara paksa. Abu Tahir memerintahkan Ja’far bin Ilaj untuk mencopot Hajar Aswad dan membawanya. Setelah sebelumnya dia melakukan kebiadaban dengan membunuh orang-orang yang sedang tawaf, iktikaf, dan shalat.
Mereka membawa Hajar Aswad ke negerinya. Setelah itu tempat Hajar Aswad kosong. Orang-orang yang tawaf hanya meletakkan tangannya di tempatnya saja untuk mendapatkan berkahnya. Akhirnya Hajar Aswad dikembalikan ke tempatnya pada 10 Zulhijah 339 H, setelah 22 tahun Ka’bah kosong dari Hajar Aswad.
Pada 363 H datang seorang laki-laki dari Romawi. Saat ia mendekati Hajar Aswad, ia mengambil cangkul dan memukulkannya dengan kuat ke pojok tempat Hajar Aswad hingga berbekas. Ketika ia akan mengulangi perbuatannya, seorang Yaman datang dan menikamnya sampai roboh.
Pada 413 H, Bani Fatimiyah mengirim sebagian pengikutnya dari Mesir di bawah pimpinan Hakim Al-Abidi, di antaranya ada seorang laki-laki yang berkulit merah dan berambut pirang serta berbadan tinggi besar, sebelah tangannya menghunus pedang, sedangkan yang sebelah memegang pahat, lalu dipukulkannya ke Hajar Aswad sebanyak tiga kali hingga pecah dan berjatuhan, sambil berkata, ”Sampai kapan batu hitam ini disembah, sekarang tidak ada Muhammad atau Ali yang dapat melarangku dari perbuatanku, kini aku ingin menghancurkan Ka’bah.”
