У вересні 1331 року Карл уклав союз з Оттоном Веселим, герцогом Австрії, проти Богемії.Він також послав підкріплення до Польщі для боротьби проти тевтонських лицарів і богемців.У 1332 році він підписав мирну угоду з Іоанном Богемським і виступив посередником у перемир'ї між Богемією та Польщею.Влітку 1335 року делегати Яна Богемського та нового короля Польщі Казимира III розпочали переговори в Тренсені, щоб покласти край конфліктам між двома країнами.За посередництва Карла 24 серпня було досягнуто компромісу: Іван Богемський відмовився від претензій на Польщу, а Казимир Польський визнав сюзеренітет Івана Богемського в Сілезії.3 вересня Карл підписав союз з Іоанном Богемським у Вишеграді, який був укладений насамперед проти герцогів Австрії.На запрошення Карла Іван Богемський і Казимир Польський зустрілися у Вишеграді в листопаді.Під час Конгресу у Вишеграді обидва правителі підтвердили компроміс, який їхні делегати виробили в Тренсені.Три правителі домовилися про союз взаємної оборони проти Габсбургів, і було створено новий торговий шлях, щоб дозволити купцям, що подорожують між Угорщиною та Священною Римською імперією, оминати Відень.Бабонічі та Кесеги уклали союз із австрійськими герцогами в січні 1336 р. Іоанн Богемський, який вимагав від Габсбургів Каринтію, вторгся в Австрію в лютому.Наприкінці червня польський король Казимир III прибув до Австрії, щоб допомогти йому.Чарльз незабаром приєднався до них у Марчег.Герцоги шукали примирення і в липні підписали мирний договір з Іоанном Богемським.Карл підписав з ними перемир'я 13 грудня, а на початку наступного року розпочав нову експедицію проти Австрії.Він змусив Бабонічів і Кесегів поступитися, а останні також були змушені передати йому свої фортеці вздовж кордону в обмін на віддалені замки.Мирний договір Карла з Альбертом і Оттоном Австрійськими, підписаний 11 вересня 1337 року, забороняв і герцогам, і Карлу давати притулок бунтівним підданим іншої сторони.