Semua kastil, bersama dengan domain feodal itu sendiri, diserahkan kepada pemerintah Meiji pada tahun 1871 penghapusan sistem han.Selama Restorasi Meiji, kastil-kastil ini dipandang sebagai simbol elit penguasa sebelumnya, dan hampir 2.000 kastil dibongkar atau dihancurkan.Yang lainnya ditinggalkan begitu saja dan akhirnya rusak.