Setelah beberapa tahun di Kievan Rus ', Harald dan pasukannya yang terdiri dari sekitar 500 orang pindah ke selatan ke Konstantinopel (Miklagard), ibu kota Kekaisaran Romawi Timur tempat mereka bergabung dengan Garda Varangian.Sementara Pengawal Varang terutama dimaksudkan untuk berfungsi sebagai pengawal kaisar, Harald ditemukan bertempur di "hampir setiap perbatasan" kekaisaran.Dia pertama kali melihat aksi dalam kampanye melawan bajak laut Arab di Laut Mediterania, dan kemudian di kota-kota pedalaman di Asia Kecil / Anatolia yang mendukung para perompak.Pada saat ini, menurut Snorri Sturluson dia telah menjadi "pemimpin atas semua Varangian".