日本最初の歴史書である「古事記」には、男神イザナギと女神イザナミが黄泉津比良坂(現世と黄泉の国の境となる坂)で大きな石をはさんで、最後の別れの言葉を交わすということが書かれています。この石こそが墓石の源流となる「千引石」と言われています。
供養塔としての墓石の起源は、仏教の伝来によって石工の技術が渡来人によってもたらされたことが始まりです。平安時代には支配階級の間で五輪塔や宝篋印塔、多宝塔などといった墓石が数多く建てられるようになりました。
その後、鎌倉時代から室町時代にかけて位牌と戒名が中国から伝わります。その影響から、位牌型の板碑や今日の墓石に近い角柱型のものがつくられるようになりました。また、江戸時代になると檀家制度の確立により、供養や葬儀などの仏事が人々の生活に定着していきます。そして、先祖を供養し祀る墓石が一般庶民の間に急速に普及していくようになりました。墓石がそれまでの仏の加護の証としての塔ではなく、それ自身が仏として礼拝の対象となる墓石へと変質していったのです。なお、この時代の墓石はそれぞれが故人の戒名を持つ個人墓や夫婦墓が原則でありました。
明治時代になると家制度が確立され、墓石は家単位で建てられるようになります。故人の戒名を彫っていた墓石が、「○○家先祖代々之墓」という、現在ある家族墓へと変化していきました。また、明治期には公園型の墓地も誕生し、墓地を取り巻く環境は大きく変化していくこととなります。戦後になると民営の霊園が開設され、霊園に合う洋型の墓石が登場します。洋型は次第に普及し、現在では関東圏では主流といえるようになりました。また、今日の核家族化、人口の増加による墓地不足などの影響により、生前に自身でお墓を建てる「寿陵」が増加しつつあります。「寿陵」は、自分の希望する墓石を建てられるという特長があります。自由な形式を持つニューデザイン墓が一般的になってきていることも、「寿陵」の増加の影響が大きいと言えるでしょう。