Di selatan kota Yerusalem inilah, daerah di mana berdiri ‘bukit tinggi’ Gunung Sion, pada tahun 1099, saat pasukan salib membantai seluruh penduduk Yerusalem—baik kaum Muslimin dan Yahudi—dalam penaklukkannya, mereka menemukan sebuah reruntuhan di bukit tersebut. Reruntuhan ini mengindikasikan secara kuat bahwa dahulu kala di daerah tersebut telah berdiri sebuah basilika atau Gereja Byzantium kuno yang diperkirakan sudah berdiri pada abad ke-4 dan sebab itu disebut sebagai Induk Seluruh Gereja (The Mother of All Church). Di atas reruntuhan gereja induk tersebut, Godfroi memerintahkan dibangun kembali sebuah gereja yang ternyata dipergunakan oleh golongannya sendiri. Gereja itu lebih mirip dengan menara dan benteng, yang kemudian diberi nama Abbey of Notre Dame du Mont de Sion (Gereja Biara Notre Dame di Gunung Sion). Karena kelaziman penamaan ordo disamakan dengan nama gerejanya—misal Ordo Holy Sepulchure ternyata menempati Gereja Holy Sepulchure, maka banyak sejarahwan meyakini kelompok Godfroi yang menempati Gereja Abbey of Notre Dame du Mont de Sion ini dikemudian hari disebut dengan istilah Ordo Sion dan para pendetanya dipanggil dengan sebutan Biarawan Sion (Priory of Sion).
Walau demikian, banyak pula sejarahwan yang menolak premis ini. Ada yang memaparkan bahwa gereja tersebut dihuni oleh persaudaraan anggota Ordo Agustinian yang memiliki nama ganda seperti ‘Saint-Marie du Mont Syon et du Saint-Esprit’ (Santa Maria dari Gunung Sion dan dari Santa Esprit) . Ada pula yang menyatakan bahwa gereja tersebut selama Perang Salib di Yerusalem dihuni oleh para ksatria dengan nama ‘Chevaliers do Odre de Notre Dame de Sion’ (Kavaleri Ordo Notre Dame di Sion).
Petunjuk yang mungkin lebih jelas akhirnya datang dari Gérard de Sède. Menurutnya, para biarawan Calabria yang dipimpin oleh seorang tokoh bernama ‘Ursus’ yang dikaitkan dengan garis keturunan Dinasti Merovingian sebelum berangkat dari Orval, mereka memasukkan seorang lelaki yang dikenal sebagai Peter the Hermit (Peter si Pertapa). Dikatakan pula bahwa Peter si Pertapa itu diyakini sebagai pembimbing pribadi Godfroi de Bouillon.
Pada tahun 1095, bersama Paus Urban II, Peter membuat dirinya dikenal di seluruh umat Kristen karena khotbahnya yang mengobarkan Perang Salib untuk merebut kembali Tanah Suci Yerusalem dari tangan kaum Muslim. Peter adalah salah seorang penyebab diakhirinya perdamaian antara dunia Kristen dengan Islam, dengan menyerukan Perang Salib.
Setelah Yerusalem jatuh ke tangan pasukan salib di tahun 1099, sekelompok tokoh bersidang dalam konklaf rahasia yang diduga berasal dari Gereja Yohanit. Dari Guillaume de Tyre didapat keterangan bahwa seorang uskup dari Calabria mendominasi sidang itu dan sangat dihormati seluruh peserta. Pertemuan itu digelar untuk menobatkan seorang Raja Yerusalem. Konon, saat itu secara aklamasi peserta menunjuk Godfroi de Bouillon sebagai Raja Yerusalem, namun dengan sikap merendahkan hati yang dibuat-buat, Godfroi menolaknya dan memilih untuk memakai gelar “Pembela Holy Sepulchure” yang sesungguhnya lebih berkuasa dalam segala hal, walau tidak menyandang istilah Raja. Baldwin I akhirnya dinobatkan sebagai Raja Yerusalem. Ketika Godfroi meninggal dunia di tahun 1100, King Baldwin I menerima gelar tersebut dan menjadi tokoh dengan dua gelar di Kota Suci itu: King of Yerusalem dan Pembela Holy Sepulchure.
