V září 1331 uzavřel Karel spojenectví s Ottou Veselým, vévodou rakouským, proti Čechám.Poslal také posily do Polska , aby bojovaly proti Řádu německých rytířů a Čechům.V roce 1332 podepsal s Janem Český mír a zprostředkoval příměří mezi Čechami a Polskem.V létě 1335 zahájili delegáti Jana Českého a nového polského krále Kazimíra III. jednání v Trencsénu, aby ukončili konflikty mezi oběma zeměmi.S Karlovým zprostředkováním bylo 24. srpna dosaženo kompromisu: Jan Český se vzdal nároků na Polsko a Kazimír Polský uznal vrchnost Jana Českého ve Slezsku.Dne 3. září podepsal Karel na Visegrádu spojenectví s Janem Českým, které bylo vytvořeno především proti rakouským vévodům.Na Karlovo pozvání se Jan Český a Kazimír Polský sešli v listopadu na Visegrádu.Během Visegrádského kongresu oba vládci potvrdili kompromis, který jejich delegáti vypracovali v Trencsénu.Tři panovníci se dohodli na vzájemné obranné unii proti Habsburkům a byla zřízena nová obchodní cesta, která obchodníkům cestujícím mezi Uhry a Svatou říší římskou umožnila obejít Vídeň.Babonići a Kőszegiové uzavřeli spojenectví s rakouskými vévody v lednu 1336. Jan Český, který si od Habsburků nárokoval Korutany, vpadl do Rakouska v únoru.Polský Kazimír III. přijel do Rakouska, aby mu pomohl koncem června.Charles se k nim brzy připojil v Marcheggu.Vévodové usilovali o smíření a v červenci podepsali mírovou smlouvu s Janem Českým.Karel s nimi podepsal 13. prosince příměří a začátkem příštího roku zahájil novou výpravu proti Rakousku.Přinutil Babonići a Kőszegiové, aby se vzdali, a tito byli také nuceni předat mu své pevnosti podél hranice výměnou za vzdálené hrady.Karlova mírová smlouva s Albertem a Otou Rakouskými, která byla podepsána 11. září 1337, zakazovala vévodům i Karlovi poskytnout úkryt odbojným poddaným druhé strany.