Bantuan Harald di istana kekaisaran dengan cepat menurun setelah kematian Michael IV pada bulan Desember 1041, yang diikuti oleh konflik antara kaisar baru Michael V dan permaisuri Zoe yang berkuasa.Selama kekacauan, Harald ditangkap dan dipenjarakan, tetapi sumber tidak setuju dengan alasan tersebut.Sumber juga tidak setuju tentang bagaimana Harald keluar dari penjara, tetapi dia mungkin telah dibantu oleh seseorang di luar untuk melarikan diri di tengah pemberontakan yang dimulai melawan kaisar baru.