หอพระอิศวรเป็นที่ประดิษฐานรูปเคารพพระอิศวร อันเป็นเทพองค์หนึ่งของพราหมณ์ ใช้เป็นเทวสถานสำหรับประกอบพิธีกรรมของศาสนาพราหมณ์ สันนิษฐานว่าสร้างในสมัยอยุธยา แต่ของเดิมชำรุดไปหมดแล้วอาคารที่ปรากฏทุกวันนี้ เป็นอาคารที่บูรณะขึ้นมาใหม่ ทางด้านเหนือของหอพระอิศวรเป็นวัดเสมาเมือง ทางด้านใต้เป็นเสาชิงช้า ซึ่งสร้างขึ้นใหม่แทนของเก่าซึ่งใช้ในพิธียัมปวาย และตรีปวาย ของพราหมณ์ เมืองนครศรีธรรมราช โดยจำลองแบบมาจากเสาชิงช้าในกรุงเทพฯ แต่มีขนาดเล็กกว่า