Noong Setyembre 1331, nakipag-alyansa si Charles kay Otto the Merry, Duke ng Austria, laban sa Bohemia.Nagpadala rin siya ng mga reinforcement sa Poland upang labanan ang Teutonic Knights at ang Bohemians.Noong 1332 ay pumirma siya ng isang kasunduan sa kapayapaan kasama si John ng Bohemia at namagitan sa isang tigil ng kapayapaan sa pagitan ng Bohemia at Poland.Noong tag-araw 1335, ang mga delegado ni John ng Bohemia at ang bagong Hari ng Poland , Casimir III, ay pumasok sa negosasyon sa Trencsén upang wakasan ang mga salungatan sa pagitan ng dalawang bansa.Sa pamamagitan ni Charles, naabot ang isang kompromiso noong Agosto 24: Tinalikuran ni John ng Bohemia ang kanyang pag-angkin sa Poland at kinilala ni Casimir ng Poland ang panunungkulan ni John ng Bohemia sa Silesia.Noong Setyembre 3, lumagda si Charles ng isang alyansa kay John ng Bohemia sa Visegrád, na pangunahing nabuo laban sa mga Duke ng Austria.Sa imbitasyon ni Charles, nagpulong sina John ng Bohemia at Casimir ng Poland sa Visegrád noong Nobyembre.Sa panahon ng Kongreso ng Visegrád, kinumpirma ng dalawang pinuno ang kompromiso na ginawa ng kanilang mga delegado sa Trencsén.Ang tatlong pinuno ay sumang-ayon sa isang unyon sa pagtatanggol sa isa't isa laban sa mga Habsburg, at isang bagong ruta ng komersyo ang itinakda upang bigyang-daan ang mga mangangalakal na naglalakbay sa pagitan ng Hungary at ng Banal na Imperyong Romano na makalampas sa Vienna.Nakipag-alyansa ang Babonići at Kőszegis sa mga Duke ng Austria noong Enero 1336. Sinalakay ni John ng Bohemia, na nag-angkin ng Carinthia mula sa Habsburg, ang Austria noong Pebrero.Si Casimir III ng Poland ay dumating sa Austria upang tulungan siya noong huling bahagi ng Hunyo.Hindi nagtagal ay sumama sa kanila si Charles sa Marchegg.Ang mga duke ay humingi ng pagkakasundo at nilagdaan ang isang kasunduan sa kapayapaan kay John ng Bohemia noong Hulyo.Pumirma si Charles ng isang tigil-tigilan sa kanila noong ika-13 ng Disyembre, at naglunsad ng bagong ekspedisyon laban sa Austria nang maaga sa susunod na taon.Pinilit niyang sumuko ang Babonići at Kőszegis, at napilitan din ang huli na ibigay sa kanya ang kanilang mga kuta sa kahabaan ng hangganan kapalit ng malalayong kastilyo.Ang kasunduang pangkapayapaan ni Charles kay Albert at Otto ng Austria, na nilagdaan noong 11 Setyembre 1337, ay nagbabawal sa mga duke at Charles na magbigay ng kanlungan sa mga mapanghimagsik na sakop ng kabilang partido.