เมื่อครั้งสมัยจอมพล ป. พิบูลสงคราม ดำรงตำแหน่งนายกรัฐมนตรีทางรัฐบาลได้ประกาศพระราชกำหนดระเบียบบริหารนครบาลเพชรบูรณ์ พ.ศ.2487 และได้ตั้งกระทรวงการคลังขึ้นที่ถ้ำฤาษีสมบัติซึ่งใช้เป็นที่เก็บสมบัติของแผ่นดินในสมัยนั้น ในปัจจุบันสิ่งก่อสร้างที่เป็นอาคารไม่ปรากฏ นอกจากถ้ำซึ่งมองเห็นเป็นร่องรอยการก่อสร้าง