Lê Hữu Trác xuất thân trong một gia đình quý tộc, giỏi binh thư, võ nghệ. Làm quan dưới thời chúa Trịnh được một thời gian, ông nhận thấy xã hội thối nát, cương thường lỏng lẻo, nhân khi người anh ở Hương Sơn mất (1746), ông liền viện cớ cáo quan về nuôi mẹ già.