Малко след коронацията си Коломан трябваше да се сблъска с проблеми, причинени от армиите на Първия кръстоносен поход , докато преминаваха през Унгария.В продължение на десетилетия Унгария успяваше да снабдява значителен брой западноевропейски поклонници с храна по време на пътуването им до Светите земи, но движението на десетки хиляди кръстоносци из страната застрашаваше прехраната на местното население.Първата група кръстоносци, водена от Валтер Санс Авоар, достига границата в началото на май 1096 г. Коломан ги посреща приятелски и ги допуска в кралството.Той също така им разреши да купуват храна от пазарите, въпреки че жътвата все още не беше започнала.Те преминаха през Унгария без големи конфликти.Следващите пристигащи, начело с Петър Отшелника, пристигат в края на май или началото на юни.Коломан им позволи да влязат в Унгария едва след като Петър обеща, че ще им попречи да плячкосват провинцията.Според записите на Гиберт от Ногент, Петър не можа да спази обещанието си: кръстоносците „изгориха обществените житници..., изнасилиха девици, опозориха много брачни легла, като отнесоха много жени“, въпреки че „унгарците, като християни на християни, имаха щедро им предлагаше всичко за продан“.Трета група кръстоносци достига Нитра (Нитра, Словакия) и започва да плячкосва региона.Те скоро бяха разбити от местните.Четвърта армия дойде в Мосон в средата на юни.Коломан не им позволи да напуснат региона или защото беше научил за неприятното им поведение по време на пътуването им, или защото беше разбрал, че движението им през Унгария може да застраши стабилността на местната икономика.За да заграбят храна и вино, кръстоносците извършвали чести грабежи срещу близките селища.Коломан решава да ги нападне, но командирите на армията го убеждават да убеди кръстоносците да предадат оръжията и парите си, като им обещават, че ще бъдат снабдени с храна по време на пътуването си.След като кръстоносците бяха разоръжени, войските на Коломан ги нападнаха и избиха близо до Панонхалма в началото на юли.