Λίγο μετά τη στέψη του, ο Κολομάν έπρεπε να αντιμετωπίσει προβλήματα που προκάλεσαν οι στρατοί της Α' Σταυροφορίας περνώντας από την Ουγγαρία.Για δεκαετίες, η Ουγγαρία ήταν σε θέση να προμηθεύει σημαντικό αριθμό Δυτικοευρωπαίων προσκυνητών με τρόφιμα κατά τη διάρκεια του ταξιδιού τους στους Αγίους Τόπους, αλλά η μετακίνηση δεκάδων χιλιάδων σταυροφόρων σε όλη τη χώρα έθεσε σε κίνδυνο την επιβίωση των ιθαγενών.Η πρώτη ομάδα σταυροφόρων, με επικεφαλής τον Walter Sans Avoir, έφτασε στα σύνορα στις αρχές Μαΐου 1096. Ο Κόλομαν τους υποδέχτηκε με φιλικό τρόπο και τους επέτρεψε να μπουν στο βασίλειο.Τους εξουσιοδότησε επίσης να αγοράζουν τρόφιμα από τις αγορές, αν και η συγκομιδή δεν είχε ακόμη ξεκινήσει.Προχώρησαν μέσω της Ουγγαρίας χωρίς μεγάλες συγκρούσεις.Οι επόμενες αφίξεις, με επικεφαλής τον Πέτρο τον Ερημίτη, έφτασαν στα τέλη Μαΐου ή στις αρχές Ιουνίου.Ο Κόλομαν τους επέτρεψε να εισέλθουν στην Ουγγαρία μόνο αφού ο Πέτρος υποσχέθηκε ότι θα τους εμπόδιζε να λεηλατήσουν την ύπαιθρο.Σύμφωνα με τα αρχεία του Guibert of Nogent, ο Πέτρος δεν μπόρεσε να κρατήσει την υπόσχεσή του: οι σταυροφόροι «έκαψαν τους δημόσιους σιταποθήκες…, βίασαν παρθένες, ατίμασαν πολλά κρεβάτια γάμου σηκώνοντας πολλές γυναίκες», αν και «οι Ούγγροι, ως χριστιανοί σε χριστιανούς, είχαν τους πρόσφερε απλόχερα τα πάντα προς πώληση» σε αυτούς.Μια τρίτη ομάδα σταυροφόρων έφτασε στη Νίτρα (Νίτρα, Σλοβακία) και άρχισε να λεηλατεί την περιοχή.Αυτά σύντομα καταστράφηκαν από τους ντόπιους.Ένας τέταρτος στρατός ήρθε στο Moson στα μέσα Ιουνίου.Ο Κόλομαν δεν τους επέτρεψε να φύγουν από την περιοχή, είτε επειδή έμαθε για την ενοχλητική συμπεριφορά τους κατά τη διάρκεια του ταξιδιού τους, είτε είχε συνειδητοποιήσει ότι η μετακίνησή τους στην Ουγγαρία θα μπορούσε να θέσει σε κίνδυνο τη σταθερότητα της τοπικής οικονομίας.Για να αρπάξουν τρόφιμα και κρασί, οι σταυροφόροι έκαναν συχνές λεηλασίες κατά των κοντινών οικισμών.Ο Κόλομαν αποφάσισε να τους επιτεθεί, αλλά οι διοικητές του στρατού τον έπεισαν να πείσουν τους σταυροφόρους να παραδώσουν τα όπλα και τα χρήματά τους, υποσχόμενοι τους ότι θα τους προμηθεύονταν τρόφιμα κατά τη διάρκεια του ταξιδιού τους.Αφού αφοπλίστηκαν οι σταυροφόροι, τα στρατεύματα του Coloman επιτέθηκαν και τους έσφαξαν κοντά στην Pannonhalma στις αρχές Ιουλίου.