Đảo Ngọc Sơn xưa được gọi là Tượng Nhĩ (tai voi). Vua Lý Thái Tổ dời đô ra Thăng Long đặt tên đảo là Ngọc Tượng và đến đời Trần thì đảo được đổi tên là Ngọc Sơn.
Tại đây đã có một ngôi đền được dựng lên để thờ những người anh hùng liệt sĩ đã hy sinh trong kháng chiến chống quân Nguyên Mông. Về sau lâu ngày ngôi đền bị sụp đổ. Đến thời Vĩnh Hựu nhà Lê (1735 - 1739), chúa Trịnh Giang đã dựng cung Thuỵ Khánh và đắp hai quả núi đất ở trên bờ phía đông đối diện với Ngọc Sơn gọi là núi Đào Tai và Ngọc Bội.
Cuối đời Lê, cung Thuỵ Khánh bị Lê Chiêu Thống phá huỷ. Một nhà từ thiện tên là Tín Trai đã lập ra một ngôi chùa gọi là chùa Ngọc Sơn trên nền cung Thuỵ Khánh cũ. Năm Thiệu Trị thứ ba (1843), một hội từ thiện đã bỏ gác chuông, xây lại các gian điện chính, các dãy phòng hai bên, đưa tượng Văn Xương đế quân vào thờ và đổi tên là đền Ngọc Sơn (Văn Xương là nhân vật đời Kiến Vũ, năm 25 - 55 sau công nguyên bên Trung Quốc, sau khi chết được phong là thần chủ về văn chương khoa cử).