En septembre 1331, Charles fait alliance avec Othon le Joyeux, duc d'Autriche, contre la Bohême.Il a également envoyé des renforts en Pologne pour lutter contre les chevaliers teutoniques et les Bohémiens.En 1332, il signe un traité de paix avec Jean de Bohême et négocie une trêve entre la Bohême et la Pologne.À l'été 1335, les délégués de Jean de Bohême et du nouveau roi de Pologne , Casimir III, entament des négociations à Trencsén pour mettre fin aux conflits entre les deux pays.Avec la médiation de Charles, un compromis est trouvé le 24 août : Jean de Bohême renonce à sa revendication sur la Pologne et Casimir de Pologne reconnaît la suzeraineté de Jean de Bohême en Silésie.Le 3 septembre, Charles a signé une alliance avec Jean de Bohême à Visegrád, qui a été principalement formée contre les ducs d'Autriche.À l'invitation de Charles, Jean de Bohême et Casimir de Pologne se sont rencontrés à Visegrád en novembre.Lors du Congrès de Visegrád, les deux souverains ont confirmé le compromis que leurs délégués avaient élaboré à Trencsén.Les trois souverains ont convenu d'une union de défense mutuelle contre les Habsbourg, et une nouvelle route commerciale a été mise en place pour permettre aux marchands voyageant entre la Hongrie et le Saint Empire romain germanique de contourner Vienne.Les Babonići et les Kőszegis ont conclu une alliance avec les ducs d'Autriche en janvier 1336. Jean de Bohême , qui a revendiqué la Carinthie aux Habsbourg , a envahi l'Autriche en février.Casimir III de Pologne est venu en Autriche pour l'aider fin juin.Charles les rejoignit bientôt à Marchegg.Les ducs ont cherché la réconciliation et ont signé un traité de paix avec Jean de Bohême en juillet.Charles signa une trêve avec eux le 13 décembre et lança une nouvelle expédition contre l'Autriche au début de l'année suivante.Il a forcé les Babonići et les Kőszegis à céder, et ces derniers ont également été contraints de lui remettre leurs forteresses le long de la frontière en échange de châteaux lointains.Le traité de paix de Charles avec Albert et Otto d'Autriche , signé le 11 septembre 1337, interdisait aux ducs et à Charles de donner abri aux sujets rebelles de l'autre partie.