Pada bulan September 1331, Charles bersekutu dengan Otto the Merry, Adipati Austria, melawan Bohemia.Dia juga mengirim bala bantuan ke Polandia untuk berperang melawan Ksatria Teutonik dan Bohemian.Pada tahun 1332 dia menandatangani perjanjian damai dengan John dari Bohemia dan menengahi gencatan senjata antara Bohemia dan Polandia.Pada musim panas 1335, delegasi John dari Bohemia dan Raja Polandia yang baru, Casimir III, mengadakan negosiasi di Trencsén untuk mengakhiri konflik antara kedua negara.Dengan mediasi Károly, sebuah kompromi dicapai pada tanggal 24 Agustus: Ioannis dari Bohemia mencabut klaimnya atas Polandia dan Casimir dari Polandia mengakui kekuasaan Ioannis dari Bohemia di Silesia.Pada tanggal 3 September, Charles menandatangani aliansi dengan John dari Bohemia di Visegrád, yang terutama dibentuk melawan Adipati Austria.Atas undangan Charles, John dari Bohemia dan Casimir dari Polandia bertemu di Visegrád pada bulan November.Selama Kongres Visegrád, kedua penguasa menegaskan kompromi yang telah dilakukan oleh delegasi mereka di Trencsén.Ketiga penguasa menyepakati serikat pertahanan timbal balik melawan Habsburg, dan rute komersial baru didirikan untuk memungkinkan pedagang melakukan perjalanan antara Hongaria dan Kekaisaran Romawi Suci untuk melewati Wina.Babonići dan Kőszegis bersekutu dengan Adipati Austria pada Januari 1336. Jean dari Bohemia, yang mengklaim Carinthia dari Habsburg, menginvasi Austria pada bulan Februari.Casimir III dari Polandia datang ke Austria untuk membantunya pada akhir Juni.Charles segera bergabung dengan mereka di Marchegg.Para adipati mencari rekonsiliasi dan menandatangani perjanjian damai dengan John dari Bohemia pada bulan Juli.Charles menandatangani gencatan senjata dengan mereka pada 13 Desember, dan melancarkan ekspedisi baru melawan Austria awal tahun berikutnya.Dia memaksa Babonići dan Kőszegis untuk menyerah, dan yang terakhir juga terpaksa menyerahkan benteng mereka di sepanjang perbatasan dengan imbalan kastil yang jauh.Perjanjian damai Károly dengan Albrecht dan Otto dari Austria, yang ditandatangani pada tanggal 11 September 1337, melarang baik adipati maupun Károly untuk memberikan perlindungan kepada pihak lain yang memberontak.