وخرج أبو خزيمة يوما من المسجد فلم يواف دابته فعرض عليه رجل من أهل البلدان أن يركب فأبى وعزم عليه آخر دابته فركب فقال له الأول فقال رأيت في اللجام حلية من فضة.
ثم استعفى أبو خزيمة فأعفى وجعل مكانه عبد الله بن بلال الحضرمي ويقال بل غوثا الذي كان استخلفه حين شخص إلى أمير المؤمنين أبي جعفر في سنة أربع وأربعين ومائة. وكان يجلس للناس في المسجد الأبيض ثم قدم غوث فأقره خليفة له يحكم بين الناس فلما مات ركب غوث إلى منزله فضم الديوان والودايع التي كانت قبله وغير ذلك فزعموا أن بنت عبد الله بن بلال صاحت يومئذ وا غوثاه.
وقال يحيى بن عبد الله بن بكير لم يزل أبو خزيمة على القضاء حتى قدم غوث من الصائفة فعزل أبو خزيمة ورد غوث على القضاء.
وفاة غوث ويقال إن غوثا حين شخص إلى العراق جعل على القضاة أبو خزيمة فلم يزل على القضاء حتى توفي سنة أربع وخمسين ومائة.
أبو جعفر يستشير ابن خديج فيمن يتولى القضاء وقال بعض أهل مصر كان ابن خديج يومئذ بالعراق قال دخلت على أمير المؤمنين أبي جعفر فقال: يا ابن خديج لقد توفي ببلدك رجل أصيبت به العامة قال: قلت يا أمير المؤمنين ذاك إذا أبو خزيمة قال: نعم فمن ترى أن نولي القضاء بعده؟ قلت أبو معدان اليحصبي يا أمير المؤمنين. قال: ذاك رجل أصم ولا يصلح القاضي أن يكون أصم: قال: قلت: فابن لهيعة يا أمير المؤمنين قال: ابن لهيعة على ضعف فيه فأمر بتوليته وأجرى عليه في كل شهر ثلاثين دينارا. وهو أول قاض قضى على مصر أجرى عليه ذلك باستقضاء خليفة وإنما كان ولاة البلد يولون القضاة فلم يزل قاضيا حتى صرف سنة أربع وتسعين ومائة.