Supremasi Fujiwara berakhir pada tahun 1068 ketika kaisar baru Go-Sanjo bertekad untuk memerintah negara sendiri karena Fujiwara telah gagal mengendalikan dirinya. Pada tahun 1086 Go-Sanjo turun tahta tapi terus memerintah dari balik panggung politik. Ini bentuk pemerintahan baru yang disebut pemerintah Insei. Kaisar Insei diberikan kekuasaan politik dari tahun 1086-1156 ketika Taira Kiyomori menjadi pemimpin baru Jepang.
Pada abad 12, dua keluarga militer aristrokat dengan latar belakang memperoleh banyak pengaruh yaitu keluarga Minamoto (Genji) dan Taira (Heike). Taira menggantikan banyak bangsawan Fujiwara di kantor-kantor penting sementara Minamoto mempunyai pengalaman militer dengan membawa Honshu bagian Utara di bawah kendali Jepang di awal Perang Sembilan tahun (1050-1059) dan Perang Tiga Tahun (1083-1087).
