En septiembre de 1331, Carlos se alió con Otón el Alegre, duque de Austria, contra Bohemia.También envió refuerzos a Polonia para luchar contra los Caballeros Teutónicos y los Bohemios.En 1332 firmó un tratado de paz con Juan de Bohemia y medió una tregua entre Bohemia y Polonia.En el verano de 1335, los delegados de Juan de Bohemia y el nuevo rey de Polonia , Casimiro III, entablaron negociaciones en Trencsén para poner fin a los conflictos entre ambos países.Con la mediación de Carlos, se llegó a un compromiso el 24 de agosto: Juan de Bohemia renunció a su derecho a Polonia y Casimiro de Polonia reconoció la soberanía de Juan de Bohemia en Silesia.El 3 de septiembre, Carlos firmó una alianza con Juan de Bohemia en Visegrád, que se formó principalmente contra los duques de Austria.Por invitación de Carlos, Juan de Bohemia y Casimiro de Polonia se reunieron en Visegrád en noviembre.Durante el Congreso de Visegrád, los dos gobernantes confirmaron el compromiso que sus delegados habían elaborado en Trencsén.Los tres gobernantes acordaron una unión de defensa mutua contra los Habsburgo, y se estableció una nueva ruta comercial para permitir que los comerciantes que viajaban entre Hungría y el Sacro Imperio Romano Germánico evitaran Viena.Babonići y Kőszegis se aliaron con los duques de Austria en enero de 1336. Juan de Bohemia, que reclamó Carintia a los Habsburgo, invadió Austria en febrero.Casimiro III de Polonia llegó a Austria para ayudarlo a fines de junio.Charles pronto se unió a ellos en Marchegg.Los duques buscaron la reconciliación y firmaron un tratado de paz con Juan de Bohemia en julio.Charles firmó una tregua con ellos el 13 de diciembre y lanzó una nueva expedición contra Austria a principios del año siguiente.Obligó a Babonići y Kőszegis a ceder, y estos últimos también se vieron obligados a entregarle sus fortalezas a lo largo de la frontera a cambio de castillos lejanos.El tratado de paz de Carlos con Alberto y Otón de Austria, que se firmó el 11 de septiembre de 1337, prohibía tanto a los duques como a Carlos dar refugio a los súbditos rebeldes de la otra parte.