ในช่วงราวปี พ.ศ.2440-2454 ได้มีโรงเรียนสตรีแห่งแรกในเพชรบุรีก่อตั้งขึ้น เป็นโรงเรียนการกุศลให้นักเรียนเรียนโดยไม่คิดค่าเล่าเรียนหรือค่าบำรุงใดๆ เลย เด็กหญิงคนใดประสงค์จะเข้าเรียนก็สามารถที่จะเรียนได้ทุกคนโดยไม่มีการตั้งเงื่อนไข เจ้าของโรงเรียนชื่อ นายเอม เณราธึก เป็นคหบดีที่มีชื่อเสียงและเป็นผู้ที่มีศรัทธาในพระพุทธศาสนา เดิมโรงเรียนแห่งนี้มีชื่อว่า “โรงเรียเพชรสตรี” ตั้งอยู่ฝั่งตะวันออกของแม่น้ำเพชรบุรี ต่อมาจึงย้ายมาตั้งที่ศาลาคามวาสี ตำบลที่ตั้งศาลาคามวาสีเรียกกันว่า “ต้นโพธิ์คามวาสี” ซึ่งชาวต้นโพธิ์คามวาสีออกทุนทรัพย์ช่วยกันสร้างขึ้นไว้สำหรับประกอบการกุศล

ศาลาคามวาสี เดิมเป็นศาลาหลังใหญ่ ลักษณะเหมือนกับศาลาการเปรียญโดยทั่วไป ด้านหนึ่งยกสูงเป็นอาสน์สงฆ์ยาวตลอดด้าน ส่วนถัดมาเป็นพื้นราบสำหรับอุบาสกอุบาสิกาน่ง มีธรรมาสน์อยู่หลังหนึ่ง ซึ่งศาลาหลังเก่านี้ถูกไฟไหม้ไปในปี พ.ศ.2458 แต่ชาวต้นโพธิ์ก็ช่วยกันสร้างขึ้นมาอีก

ภายหลังโรงเรียนเพชรสตรีก็เลิกล้มไป แต่ศาลาคามวาสียังคงถูกใช้ในการประกอบกิจกรรมทางพุทธศาสนามาโดยตลอด และกว่าจะมาถึงปัจจุบันศาลาคามวาสีผ่านการบูรณะซ่อมแซมจากความทรุดโทรม โดยเฉพาะอย่างยิ่งในปี พ.ศ.2537 ชาวศาลาคามวาสี ตลอดจนพ่อค้า ประชาชน พระภิกษุในจังหวัดต่างร่วมใจกันบริจาคทรัพย์เพื่อบูรณะครั้งใหญ่ โดยยกศาลาคามวาสีเป็น 2 ชั้น ในแบบประยุกต์ คือชั้นล่างก่ออิฐถือปูน ชั้นบนคงรูปแบบอาคารไม้ในแบบดั้งเดิมไว้