ศาลพระกาฬ หรือเดิมที่เรียกว่า ศาลสูง เนื่องจากศาลตั้งอยู่บนฐานศิลาแลงที่อยู่สูงจากพื้นดิน เป็นศาสนสถานที่เป็นฐานศิลาแลงขนาดมหึมา สันนิษฐานกันว่าฐานศิลาแลงดังกล่าวเป็นฐานพระปรางค์ที่ยังสร้างไม่เสร็จสมบูรณ์ หรือสร้างสำเร็จแต่พังถล่มลงมาภายหลังโดยมิได้รับการบูรณะซ่อมแซมให้ดีดังเดิม ศาลพระกาฬเป็นสิ่งก่อสร้างของขอม สืบเนื่องมาจากเมืองลพบุรีในอดีตเคยเป็นส่วนหนึ่งของขอมโบราณ ซึ่งได้กลายเป็นศูนย์กลางการปกครองของขอมในลุ่มแม่น้ำเจ้าพระยา อย่างไรก็ตามฌ็อง บวสเซอลิเยร์ ได้สันนิษฐานจากฐานพระปรางค์ที่สูงมากนี้ ว่าเขายังมิได้ข้อยุติว่าเป็นสถาปัตยกรรมขอมโบราณพุทธศตวรรษที่ 16 อาจเป็นฐานพระปรางค์จริงที่สร้างไม่เสร็จ หรือเสร็จแล้วแต่พังทลายลงมา ทั้งนี้มีที่ศาลสูงมีการค้นพบศิลาจารึกศาลสูงภาษาเขมร หลักที่ 1 และศิลาจารึกเสาแปดเหลี่ยม (จารึกหลักที่ 18) อักษรหลังปัลลาวะภาษามอญโบราณ จากกรณีจารึกเสาแปดเหลี่ยมที่หักพังนั้น พบว่าเสานี้ถูกทุบทำลายให้ล้มพังอยู่กับที่มิได้เคลื่อนย้ายมาจากที่อื่น จึงสันนิษฐานว่าศาลพระกาฬอาจเคยเป็นศาสนสถานของนิกายเถรวาทมาก่อน ภายหลังถูกดัดแปลงเป็นเทวสถานในนิกายไวษณพของศาสนาฮินดูแทน