In september 1331 sloot Charles een alliantie met Otto de Vrolijke, hertog van Oostenrijk, tegen Bohemen.Hij stuurde ook versterkingen naar Polen om te vechten tegen de Duitse Orde en de Bohemians.In 1332 tekende hij een vredesverdrag met Jan van Bohemen en bemiddelde hij bij een wapenstilstand tussen Bohemen en Polen.In de zomer van 1335 begonnen de afgevaardigden van Jan van Bohemen en de nieuwe koning van Polen , Casimir III, onderhandelingen in Trencsén om een ​​einde te maken aan de conflicten tussen de twee landen.Met de bemiddeling van Karel werd op 24 augustus een compromis bereikt: Jan van Bohemen deed afstand van zijn aanspraak op Polen en Casimir van Polen erkende de heerschappij van Jan van Bohemen in Silezië.Op 3 september tekende Karel een alliantie met Jan van Bohemen in Visegrád, die voornamelijk was gevormd tegen de hertogen van Oostenrijk.Op uitnodiging van Karel ontmoetten Jan van Bohemen en Casimir van Polen elkaar in november in Visegrád.Tijdens het congres van Visegrád bevestigden de twee heersers het compromis dat hun afgevaardigden in Trencsén hadden uitgewerkt.De drie heersers bereikten overeenstemming over een wederzijdse verdedigingsunie tegen de Habsburgers, en er werd een nieuwe commerciële route opgezet om kooplieden die tussen Hongarije en het Heilige Roomse Rijk reisden in staat te stellen Wenen te omzeilen.De Babonići en de Kőszegis sloten in januari 1336 een alliantie met de hertogen van Oostenrijk. Jan van Bohemen, die Karinthië opeiste van de Habsburgers, viel in februari Oostenrijk binnen.Casimir III van Polen kwam eind juni naar Oostenrijk om hem bij te staan.Charles voegde zich al snel bij hen in Marchegg.De hertogen zochten verzoening en tekenden in juli een vredesverdrag met Jan van Bohemen.Charles tekende op 13 december een wapenstilstand met hen en startte begin volgend jaar een nieuwe expeditie tegen Oostenrijk.Hij dwong de Babonići en de Kőszegis om toe te geven, en de laatsten werden ook gedwongen hun forten langs de grens aan hem over te dragen in ruil voor verre kastelen.Het vredesverdrag van Karel met Albrecht en Otto van Oostenrijk, ondertekend op 11 september 1337, verbood zowel de hertogen als Karel om onderdak te bieden aan de opstandige onderdanen van de andere partij.