Weil Hilarion auch hier mit Ehren überhäuft wurde, zog er nach Alexandria, in der Absicht, von da durch die Wüste in die jenseitige Oase sich zu begeben. Weil er niemals, seitdem er Einsiedler geworden war, in Städten verweilt hatte, kehrte er in Bruchium, nicht 62 weit von Alexandria, bei einigen bekannten Brüdern ein. Mit großer Freude nahmen sie den Greis auf; aber noch war die Nacht nicht hereingebrochen, da hörten sie plötzlich, wie seine Schüler den Esel sattelten, während er zur Abreise bereit stand. Eilig kamen sie herbeigelaufen und baten ihn, von seinem Vorhaben abzustehen. Sie legten sich vor die Schwelle und beteuerten, eher sterben als einen so lieben Gast entbehren zu wollen. Doch seine Antwort lautete: „Ich beschleunige meine Abreise, um euch nicht zur Last zu fallen. Sicher wird euch die Zukunft lehren, daß ich mich nicht ohne Grund plötzlich auf den Weg gemacht habe.„ Tatsächlich erschienen anderntags Einwohner von Gaza mit den Liktoren des Präfekten im Kloster, hatten sie doch am Tage vorher von seiner Ankunft gehört. Da sie ihn aber nirgendwo fanden, sprachen sie zueinander: „Bestätigt sich nicht, was wir gehört haben? Er ist ein Zauberer und sieht die Zukunft voraus.“ Die Stadt Gaza hatte nämlich, als Julian zur Herrschaft gelangt war, das Kloster des Hilarion nach seiner Abreise aus Palästina zerstört und in einem Gesuch an den Kaiser seinen und des Hesychius Tod gefordert. Es erging auch ein Rundschreiben, auf dem ganzen Erdkreis nach beiden zu fahnden.