พอเลิกไหว้ศาลพระภูมิแล้วรู้สึกกังวลใจควรทำอย่างไรดี

หลวงพ่อเคยบอกว่าไม่ให้ไหว้ศาลพระภูมิ เพราะไม่เคยสอนธรรมะให้เราเลย ผมก็เลิกไหว้แต่ยังกลัวๆ อยู่ เนื่องจากเคยไหว้ แต่ว่าผ่านทีไรรู้สึกกลัวๆ ทำอย่างไรดีครับ