Als gevolg van gebrekkige verkenningen onderschatte Baldwin de omvang van het
Egyptische leger ernstig, in de overtuiging dat het niet meer was dan een kleine expeditiemacht, en reed hij tegenover een leger van enkele duizenden met slechts tweehonderd ridders te paard en zonder infanterie.Baldwin en zijn leger beseften zijn fout te laat en waren al afgesneden van ontsnapping. Ze werden aangevallen door de Egyptische strijdkrachten en velen werden snel afgeslacht, hoewel Baldwin en een handvol anderen erin slaagden zichzelf te barricaderen in Ramla's enige toren.Baldwin had geen andere keus dan te vluchten en ontsnapte onder dekking van de nacht uit de toren met alleen zijn schrijver en een enkele ridder, Hugo van Brulis, die daarna nooit meer in een bron wordt genoemd.Baldwin bracht de volgende twee dagen door met het ontwijken van
Fatimid- zoekgroepen totdat hij op 19 mei uitgeput, uitgehongerd en uitgedroogd aankwam in de redelijk veilige haven van Arsuf.