วัดบ้านแหลม หรือวัดเพชรสมุทรวรวิหาร เดิมชื่อ วัดศรีจำปา เป็นวัดที่สำคัญของจังหวัด ตามพงศาวดารฉบับราชหัตถเลขา ปี พ.ศ. 2307 พม่ายกทัพเข้ามาตีเมืองเพชรบุรี แต่กองทัพของกรุงศรีอยุธยาได้ยกทัพมาช่วยรักษาเมืองไว้ได้ ชาวบ้านแหลมในเขตเมืองเพชรบุรีอพยพหนีพม่ามาตั้งบ้านเรือนอยู่บริเวณตำบลแม่กลองเหนือวัดศรีจำปา จึงเรียกหมู่บ้านนี้ว่า "บ้านแหลม" ตามชื่อบ้านเดิมของตนในเมืองเพชรและช่วยกันบูรณะวัดศรีจำปา เรียกวัดนี้ใหม่ว่า "วัดบ้านแหลม"
ชาวบ้านแหลมนี้ส่วนใหญ่มีอาชีพเป็นชาวประมง คราวหนึ่งได้ออกไปลากอวนในอ่าวแม่กลองพบพระพุทธรูปติดอวนขึ้นมา 2 องค์ องค์หนึ่งเป็นพระพุทธรูปนั่ง อีกองค์หนึ่งเป็นพระพุทธรูปยืน สำหรับพระพุทธรูปนั่งได้นำไปประดิษฐานไว้ที่วัดเขาตะเครา อำเภอบ้านแหลม จังหวัดเพชรบุรี สำหรับพระพุทธรูปยืนอุ้มบาตรสูงประมาณ 167 เซนติเมตร (แต่บาตรนั้นสูญหายไปในทะเล สมเด็จเจ้าฟ้ากรมพระยาภานุพันธ์วงศ์วรเดชได้ถวายบาตรไว้ให้บาตรหนึ่งเป็นบาตรแก้วสีน้ำเงิน) นำไปประดิษฐานไว้ที่วัดบ้านแหลม เรียกว่า "หลวงพ่อบ้านแหลม" มีความศักดิ์สิทธิ์เป็นที่เคารพเลื่อมใสของชาวบ้านทั่วไป
วัดบ้านแหลมเจริญขึ้นเป็นวัดใหญ่ เนื่องจากมีผู้คนมาทำบุญนมัสการหลวงพ่อบ้านแหลมกันเรื่อยมา ต่อมาวัดนี้ได้รับการยกฐานะขึ้นเป็นพระอารามหลวงชั้นตรีวรวิหาร ได้รับพระราชทานนามว่า "วัดเพชรสมุทรวรวิหาร" ภายในบริเวณวัดเพชรสมุทรยังมีพิพิธภัณฑ์สงฆ์ จัดแสดงพระพุทธรูป และพระเครื่องสมัยต่างๆโบราณวัตถุเครื่องลายคราม และธรรมมาสน์บุษบกสมัยกรุงศรีอยุธยา ปกติไม่เปิดให้เข้าชม ต้องติดต่อเจ้าอาวาสก่อนล่วงหน้า