Mescid-i Aksa'nın ilk defa ne zaman inşa edildiği tam olarak bilinmemektedir. Bununla birlikte Peygamber Muhammed'den nakledilen hadislerde bu mescidin, Kâbe inşa edildikten kırk sene sonra inşa edildiği ifade edilir. Ebû Zerr el-Gifârî, Peygamber Muhammed'den şöyle nakleder: "Yâ Resûlallah! Yeryüzünde ilk inşa edilen mescid hangisidir?" diye sordum. Dedi ki:Mescid-i Haram. "Sonra hangisidir?" diye sorunca, "Mescid-i Aksa" cevabını verdi. Dedim ki: Aralarında ne kadar süre var? Dedi ki: Kırk sene."
Tarihçiler Mescid-i Aksa'yı ilk defa inşa edenin kim olduğu hususunda ihtilaf etmişlerdir.
Bazıları bunun melekler olduğunu söylerken, diğer bazıları Adem, oğulları Şît ve Nuh, İbrahim gibi isimleri tercih etmiştir. Aynı ihtilaf Kâbe'nin inşası için de geçerlidir. İbn Abbas'tan gelen bir rivayet ile İbn Hacer el-Askalânî'nin Fethu'l-Bârî kitabındaki bir rivayet hem Kâbe hem de Mescid-i Aksâ'yı ilk inşa edenin Adem olduğunu gösterir. Mescid-i Aksa araştırmacılarından Abdullah Marûf, Adem'in sadece 142 ve 144 dönüm arasında değişen bölgenin sınırlarını vaz etme anlamında ilk bânî olduğunu belirtir.
Mescidin yakılması ve saldırılar:
22 Ağustos 1969 Perşembe sabahında Mescid-i Aksa, radikal bir Hristiyan olduğu belirtilen Denis Michael Rohan adlı saldırgan tarafından girişilen bir kundaklamaya maruz kaldı.[45] Rohan'ın gerçekleştirdiği kundaklama neticesinde Kıble Mescidi'nin doğu bölgesindeki kiriş tamamen yıkıldı, ayrıca Nureddin Mahmud Zengi'nin Mescid-i Aksa'yı Haçlılar'dan kurtarmadan önce yaptırdığı ve Selahaddin Eyyubi'nin camiye yerleştirdiği tarihi minber yandı. Rohan, kundaklama ertesindeki ifadesinde, kundaklamanın, Yahudilerin Tapınak Tepesi'nde bulunduklarını iddia ettikleri Süleyman Tapınağı'nın yeniden inşasını kolaylaştıracağını ve bunu da Zekeriya Kitabı'nda belirtildiğine göre Mesih'in ikinci gelişini hazırlayan yol olarak gördüğünü belirtti. Rohan'ı böyle bir eyleme yönelten şeyin, abonesi olduğu The Plain Truth gazetesinin kurucusu ve yazarı Herbert W. Armstrong'un "Yahudiler Yeruşalim'i Alın!" başlıklı kışkırtıcı yazısı olduğu söylenmektedir. Hadise ertesinde hemen Rohan'ın psikolojik açıdan rahatsız olduğu teşhisi konuldu. 14 Mayıs 1974'te "insani sebpler dolayısıyla ve ailesinin yanında daha ileri psikiyatrik tedaviler görmesi amacıyla" Avustralya'ya gönderildi.
Kundaklama hadisesi üzerine İslam Devletleri Zirvesi aynı yıl içerisinde, Melik Faysal'ın teşebbüsleriyle Rabat'ta toplanmıştır. Aksa kundaklaması, İslam Konferansı Örgütü'nün (şimdiki adıyla İslam İşbirliği Teşkilatı) kurulmasına sebep olan temel sâikler arasında yer almıştır. 1972 senesinde, Mescid-i Aksa onarılmış ve minber Ürdün Kralı'nın mali desteğiyle çoğunluğu Türk ustalardan oluşan sanatçılar tarafından yeniden yapılmıştır.
80'li yıllarda her ikisi de gizli Gush Emunim Underground örgütü mensubu olan Ben Shoshan ve Yehuda Etzion Kıble Mescidi ve Kubbetu's-Sahra'yı bombalama girişiminde bulundu. Etzion her iki mescidin bombalanarak yıkılmasının, siyonist oluşumlardaki ruhsal uyanışı doğuracağına ve Yahudilerin sorunlarının büyük bir bölümünü çözeceğine inanmaktaydı. Ben Shoshan ve Etzion amaçlarının, Mescid-i Aksa'nın bulunduğu bölgenin üzerine Üçüncü Tapınağı yeniden inşa etmek olduğunu belirtmişlerdir. 15 Ocak 1988'de Birinci İntifada sırasında Siyonist güçler, Mescid-i Aksa önünde gösteri yapanlara ateş açmış ve sonrasında Mescid-i Aksa'da namaz kılan 40 kişinin ölümüne neden olmuştur. 8 Ekim 1990'da, iddia edilen Üçüncü Tapınağın temel taşını yerleştirme amacındaki radikal bir grup yahudinin Mescid-i Aksa'yı "Tapınak Tepesi" ilan etmesini protesto eden 22 Filistinli, İsrail polisi tarafından öldürülmüş, 100'den fazlası ise yaralanmıştır.