แม้พระราชวังจะสร้างเสร็จในรัชสมัยของพระองค์ แต่ก็มิได้ทรงเสด็จฯ มาประทับบ่อยนัก จึงเกิดความทรุดโทรมและถูกทิ้งร้างไปในที่สุด ทำให้ทรัพย์สินบางอย่างถูกขโมยออกไปขาย แต่ก็มีเรื่องเล่าว่ามีคนนำมาคืนหลายชิ้น แต่อย่างไรก็ตามพระที่นั่งก็ทรุดโทรมไปมาก
จนมาถึงรัชสมัยของพระบาทสมเด็จพระปกเกล้าฯ ทรงโปรดฯ ให้ปรับพระราชวังนี้เป็นสถานศึกษาของครูในแขนงวิชาชีพต่างๆ แต่ก็ย้ายออกไปอยู่ที่อื่น...จึงถูกทิ้งให้ทรุดโทรมอีกครั้ง และก็มีความพยายามปรับเปลี่ยนไปให้ใช้ประโยชน์อีกหลายครั้ง แต่ก็ถูกทิ้งร้างในที่สุด
กระทั่งในรัชสมัยพระบาทสมเด็จพระเจ้าอยู่หัวอานันทมหิดล เกิดสงครามมหาเอเชียบูรพา ฝ่ายทหารได้ใช้พระราชวังแห่งนี้เป็นที่ตั้งกองบัญชาการทหาร และต่อมาได้เป็นมณฑลทหารบกที่ ๑๕ และได้จัดเป็นพิพิธภัณฑ์ประวัติศาสตร์ของจังหวัดเพชรบุรี เปิดให้เข้าชมทุกวันตั้งแต่ ๘ โมงเช้าถึง ๔ โมงเย็น ค่าเข้าชมสำหรับผู้ใหญ่ ๒๐ บาท เด็ก ๑๐ บาท นักเรียนนักศึกษาในเครื่องแบบ ๕ บาท ชาวต่างชาติ ๕๐ บาท
หลายปีก่อนที่มาเยือนเห็นมีมัคคุเทศก์จิ๋วที่เป็นนักเรียนด้วย แต่คราวล่าสุดที่ไป (วันธรรมดา) ก็เลยไม่เห็นมีมัคคุเทศก์จิ๋วมานำทาง เลยอาศัยข้อมูลจากบอร์ดนิทรรศการและหาเอาในเว็บต่างๆ มาเขียนน่ะครับ แหะๆ
สุดท้ายนี้ขอให้มีความสุขกับวันหยุดพักผ่อนนะครับ แล้วพบกันใหม่เน้อ