元弘2年（1332年）、後醍醐天皇が隠岐島に流される時、天皇の娘、十六歳の内親王もそのお供をしようと女童の変装をし、一行の中に紛れ込んでいたところ、隠岐島へ渡る際に見つかり、連れて行けないと言われたそうです。一緒に行くことのできなかった内親王は、「都のある京都に戻るなら、少しでも隠岐に近い米子で過ごしたい」そう言い、父との再会を願い、24歳というその短い生涯を送った場所が、ここ安養寺だったのです。ちなみにこの場所で、内親王は尼となり、安養尼と名乗りこの地で過ごされていました。お寺の門や瓦に残される菊の御門は、皇族墓所としての佇まいを今に偲ばせます。
