U rujnu 1331. Karlo je sklopio savez s Otonom Veselim, vojvodom Austrije, protiv Češke.Također je poslao pojačanja u Poljsku da se bore protiv Teutonskih vitezova i Čeha.Godine 1332. potpisao je mirovni ugovor s Ivanom Češkim i posredovao u primirju između Češke i Poljske.U ljeto 1335. izaslanici Ivana Češkog i novog kralja Poljske , Kazimira III., započeli su pregovore u Trencsénu kako bi okončali sukobe između dviju zemalja.Uz Karlovo posredovanje 24. kolovoza postignut je kompromis: Ivan Češki se odrekao prava na Poljsku, a Kazimir Poljski je priznao vrhovnu vlast Ivana Češkog u Šleskoj.Karlo je 3. rujna potpisao savez s Ivanom Češkim u Višegradu, koji je prvenstveno bio sklopljen protiv austrijskih vojvoda.Na Karlov poziv, Ivan Češki i Kazimir Poljski sastali su se u studenom u Visegradu.Tijekom Višegradskog kongresa, dvojica vladara potvrdila su kompromis koji su njihovi izaslanici postigli u Trencsénu.Trojica vladara dogovorila su uzajamnu obrambenu uniju protiv Habsburgovaca, a uspostavljen je i novi trgovački put kako bi trgovci koji putuju između Mađarske i Svetog Rimskog Carstva mogli zaobići Beč.Babonići i Kőszegi sklopili su savez s austrijskim vojvodama u siječnju 1336. Ivan Češki, koji je od Habsburgovaca tražio Korušku, napao je Austriju u veljači.Kazimir III od Poljske došao je u Austriju da mu pomogne krajem lipnja.Charles im se ubrzo pridružio u Marcheggu.Kneževi su tražili pomirenje i potpisali mirovni ugovor s Ivanom Češkim u srpnju.Karlo je s njima potpisao primirje 13. prosinca, a početkom sljedeće godine pokrenuo je novu ekspediciju protiv Austrije.Prisilio je Baboniće i Kőszegije na popuštanje, a ovi potonji bili su također prisiljeni predati mu svoje tvrđave duž granice u zamjenu za daleke dvorce.Karlov mirovni ugovor s Albertom i Otom od Austrije, koji je potpisan 11. rujna 1337., zabranjuje i vojvodama i Karlu da daju utočište pobunjenim podanicima druge strane.