Im September 1331 schloss Karl mit Otto dem Fröhlichen, Herzog von Österreich, ein Bündnis gegen Böhmen.Er schickte auch Verstärkung nach Polen , um gegen die Deutschen Ritter und die Böhmen zu kämpfen.1332 unterzeichnete er einen Friedensvertrag mit Johannes von Böhmen und vermittelte einen Waffenstillstand zwischen Böhmen und Polen.Im Sommer 1335 nahmen die Gesandten von Johann von Böhmen und dem neuen König von Polen , Kasimir III., in Trencsén Verhandlungen auf, um die Konflikte zwischen den beiden Ländern zu beenden.Mit Karls Vermittlung kam es am 24. August zu einem Kompromiss: Johannes von Böhmen verzichtete auf seinen Anspruch auf Polen und Kasimir von Polen erkannte die Oberhoheit Johannes von Böhmens in Schlesien an.Am 3. September unterzeichnete Karl in Visegrád ein Bündnis mit Johann von Böhmen, das sich vor allem gegen die Herzöge von Österreich richtete.Auf Einladung Karls trafen sich Johannes von Böhmen und Kasimir von Polen im November in Visegrád.Während des Visegrád-Kongresses bestätigten die beiden Herrscher den Kompromiss, den ihre Delegierten in Trencsén ausgehandelt hatten.Die drei Herrscher einigten sich auf ein gemeinsames Verteidigungsbündnis gegen die Habsburger und richteten eine neue Handelsroute ein, um Kaufleuten, die zwischen Ungarn und dem Heiligen Römischen Reich reisten, die Umgehung Wiens zu ermöglichen.Die Babonići und die Kőszegis schlossen im Januar 1336 ein Bündnis mit den Herzögen von Österreich. Johann von Böhmen, der Kärnten von den Habsburgern beanspruchte, fiel im Februar in Österreich ein.Kasimir III. von Polen kam Ende Juni nach Österreich, um ihm zu helfen.Charles schloss sich ihnen bald in Marchegg an.Die Herzöge suchten nach Versöhnung und unterzeichneten im Juli einen Friedensvertrag mit Johann von Böhmen.Karl unterzeichnete am 13. Dezember einen Waffenstillstand mit ihnen und startete Anfang nächsten Jahres eine neue Expedition gegen Österreich.Er zwang die Babonići und die Kőszegis zum Nachgeben, und diese waren auch gezwungen, ihm ihre Festungen entlang der Grenze im Austausch gegen weit entfernte Burgen zu übergeben.Der Friedensvertrag Karls mit Albert und Otto von Österreich, der am 11. September 1337 unterzeichnet wurde, verbot sowohl den Herzögen als auch Karl, den rebellischen Untertanen der anderen Partei Schutz zu gewähren.