Vào tháng 9 năm 1331, Charles liên minh với Otto the Merry, Công tước nước Áo, để chống lại Bohemia.Ông cũng gửi quân tiếp viện đến Ba Lan để chiến đấu chống lại Hiệp sĩ Teutonic và Bohemians.Năm 1332, ông ký hiệp ước hòa bình với John xứ Bohemia và làm trung gian cho hiệp định đình chiến giữa Bohemia và Ba Lan.Vào mùa hè năm 1335, các đại biểu của John xứ Bohemia và vị vua mới của Ba Lan , Casimir III, tham gia đàm phán ở Trencsén để chấm dứt xung đột giữa hai nước.Với sự trung gian của Charles, một thỏa hiệp đã đạt được vào ngày 24 tháng 8: John xứ Bohemia từ bỏ yêu sách của mình đối với Ba Lan và Casimir của Ba Lan thừa nhận quyền thống trị của John xứ Bohemia ở Silesia.Vào ngày 3 tháng 9, Charles ký một liên minh với John xứ Bohemia ở Visegrád, liên minh này chủ yếu được thành lập để chống lại các Công tước Áo.Theo lời mời của Charles, John của Bohemia và Casimir của Ba Lan đã gặp nhau tại Visegrád vào tháng 11.Trong Đại hội Visegrád, hai nhà cầm quyền đã xác nhận thỏa hiệp mà các đại biểu của họ đã đạt được ở Trencsén.Ba nhà cai trị đã đồng ý thành lập một liên minh phòng thủ chung chống lại Habsburgs, và một tuyến đường thương mại mới đã được thiết lập để cho phép các thương nhân đi lại giữa Hungary và Đế chế La Mã Thần thánh đi vòng qua Vienna.Babonići và Kőszegis đã liên minh với Công tước Áo vào tháng 1 năm 1336. John của Bohemia, người đã tuyên bố chủ quyền Carinthia từ Habsburgs, đã xâm lược Áo vào tháng Hai.Casimir III của Ba Lan đến Áo để hỗ trợ ông vào cuối tháng Sáu.Charles sớm tham gia cùng họ tại Marchegg.Các công tước tìm cách hòa giải và ký hiệp ước hòa bình với John xứ Bohemia vào tháng Bảy.Charles đã ký một hiệp định đình chiến với họ vào ngày 13 tháng 12, và khởi động một cuộc thám hiểm mới chống lại Áo vào đầu năm sau.Anh ta buộc người Babonići và người Kőszegis phải nhượng bộ, và những người sau này cũng buộc phải giao các pháo đài của họ dọc biên giới cho anh ta để đổi lấy những lâu đài xa xôi.Hiệp ước hòa bình của Charles với Albert và Otto của Áo, được ký kết vào ngày 11 tháng 9 năm 1337, cấm cả công tước và Charles cung cấp nơi trú ẩn cho các đối tượng nổi loạn của bên kia.