Em setembro de 1331, Carlos fez uma aliança com Otto, o Alegre, duque da Áustria, contra a Boêmia.Ele também enviou reforços à Polônia para lutar contra os Cavaleiros Teutônicos e os Boêmios.Em 1332 ele assinou um tratado de paz com João da Boêmia e mediou uma trégua entre a Boêmia e a Polônia.No verão de 1335, os delegados de João da Boêmia e do novo rei da Polônia , Casimiro III, entraram em negociações em Trencsén para pôr fim aos conflitos entre os dois países.Com a mediação de Carlos, um acordo foi alcançado em 24 de agosto: João da Boêmia renunciou à sua reivindicação à Polônia e Casimiro da Polônia reconheceu a suserania de João da Boêmia na Silésia.Em 3 de setembro, Carlos assinou uma aliança com João da Boêmia em Visegrád, que foi formada principalmente contra os duques da Áustria.A convite de Carlos, João da Boêmia e Casimiro da Polônia se encontraram em Visegrád em novembro.Durante o Congresso de Visegrád, os dois governantes confirmaram o compromisso que seus delegados haviam feito em Trencsén.Os três governantes concordaram em uma união de defesa mútua contra os Habsburgos, e uma nova rota comercial foi estabelecida para permitir que os mercadores que viajavam entre a Hungria e o Sacro Império Romano contornassem Viena.Os Babonići e os Kőszegis fizeram uma aliança com os duques da Áustria em janeiro de 1336. João da Boêmia, que reivindicou a Caríntia dos Habsburgos, invadiu a Áustria em fevereiro.Casimiro III da Polônia veio à Áustria para ajudá-lo no final de junho.Charles logo se juntou a eles em Marchegg.Os duques buscaram a reconciliação e assinaram um tratado de paz com João da Boêmia em julho.Carlos assinou uma trégua com eles em 13 de dezembro e lançou uma nova expedição contra a Áustria no início do ano seguinte.Ele forçou os Babonići e os Kőszegis a ceder, e os últimos também foram obrigados a entregar a ele suas fortalezas ao longo da fronteira em troca de castelos distantes.O tratado de paz de Charles com Albert e Otto da Áustria, que foi assinado em 11 de setembro de 1337, proibia os duques e Charles de dar abrigo aos súditos rebeldes da outra parte.