墓所や邸内などに小祠を設け、先祖累代の霊を祀ったことに始まります。明治に入ると氏神の境内に祖霊舎が置かれるようになりましたが、一般の神社とは異なり私的なものであるところから明治１９年（１８８６年）６月には新たに祖霊舎をつくることが禁じられました。そのため神道の一般的なお祀りは、自宅に霊璽を置くだけといった簡素なもので御札を収める神棚のように霊璽を収める専用の入れ物はありませんでした。

「ご先祖様（祖霊）をもっときちんとした形でお祀りしたい」そう考えた一部の神道家の方は神棚で代用したり、自分で作ったりしていたそうです。
そこで昭和５０年頃、そういった要望に応え、神道関係業者が初めて祖霊舎（神徒壇・御霊舎）を製作しました。
そのつくりは塗装仕上げの祖霊舎（三段物）で、上段が神棚、中段が祖霊舎、下段が祭具庫となっていました。
これはご先祖様が年月を経て神へと昇華するという神道の死生観を踏まえての配置で、塗装仕上げにしたのは、末永くお使い出来、子、孫の代まで受け継いで貰える様にとの願いを込めての事です。

ただこれには諸説あり、大正時代の絵に祖霊舎（神徒壇・御霊舎）が描かれており、大正時代、遅くとも昭和初期には一部の地域では使われていたとう説もあります。

現在では家庭用のものとしての祖霊舎（神徒壇・御霊舎）がその役割を果たしており、白木のものや一段式、二段式などその形・大きさ・色目などにも幅があり、自由に選ぶことができるようになりました。