Chùa được xây dựng từ lâu đời và đã được trùng tu nhiều lần vào các thế kỷ 16, 17, 18. Năm 1554, chùa được xây lại trên nền cũ. Năm 1632, chùa xây dựng thượng điện 3 gian và hậu cung cùng hành lang 20 gian. Năm 1660, Tây Đô Vương Trịnh Tạc cho xây lại chùa mới. Đến năm 1794 dưới thời nhà Tây Sơn, chùa lại được đại tu hoàn toàn với tên mới là "Tây Phương Cổ Tự" và hình dáng kiến trúc còn để lại như ngày nay. Chùa Tây Phương còn có tên gốc là Sùng Phức Tự và Hoàng Sơn Thiếu lâm tự.
Chùa được đặt trên đỉnh núi cao hơn 100 mét. Để lên đến cổng chùa, du khách phải vượt qua 239 bậc lát đá ong. Dựa vào thế núi từ thấp lên cao, kiến trúc chùa Tây Phương được xây dựng theo kiểu chữ Tam, gồm ba ngôi chùa song song với nhau dọc theo sườn núi, mỗi chùa cách nhau 1,6m: chùa Hạ, chùa Trung và chùa Thượng. Mặc dù mỗi ngôi chùa mang một kiến trúc riêng biệt nhưng lại nằm trong một chỉnh thể hài hòa, thống nhất giữa không gian núi rừng trầm tịch và thoáng đãng.