واعتنى باستدعاء النساخ والكتاب، فاجتمع له ما لم يجتمع لسلطان منهم، كأبي القاسم بن الحذاء الأحدب، وألب بكر محمد بن محمد بن القنطرية، وأبي عبد الله محمد بن أبي الخطال، وأخيه أبي مروان، وعبد المجيد بن عبدان.
وطالت أيامه إلى أن التقى عسكر بلنسية مع العدو الملعون، فهزموا المسلمين، وقتلوا من المرابطين خلقا كثيرا، وذلك بعد الخمسمائة، فاختلت بعدها حال علي بن يوسف، وظهرت في بلاده مناكر كثيرة، لاستيلاء أمراء المرابطين الذين هم جنده على البلاد الأندلسية، ثم ادعوا الاستبداد بالأمور، وانتهوا في ذلك إلى التصريح، وصار كل واحد منهم يجهر بأنه خير من أمير المسلمين علي بن يوسف، وأنه أولى بالأمر منه.
واستولى النساء على الأحوال، وصارت كل امرأة من أكابر البربر مشتملة على كل مفسد وشرير، وقاطع سبيل، وصاحب خمر، وأمير المسلمين في ذلك يزيد تغافله، ويقوى ضعفه، وقنع بالاسم والخطبة.
وعكف على العبادة، فكان يصوم النهار، ويقوم الليل، واشتهر عنه ذلك، وأهمل أمر الرعية غاية الإهمال.
وكان يعلم من نفسه العجز، حتى أنه رفع مرة يديه وقال: اللهم قيض لهذا الأمر من يقوى عليه ويصلح أمور المسلمين.
حكى عنه هذا عبد الله بن خيار.
وقال اليسع بن حزم: ولي علي بن يوسف، فنشأت من المرابطين والفقهاء نشأة أهزلوا دينهم، وأسمنوا براذينهم، قلدهم البلاد، وأصاخ إلى رأيهم فخانوه، وأشاروا عليه بأخذ مملكة ابن هود، وقرروا عنده أن أموال المستنصر صاحب مصر أيام الغلاء حصلت كلها عند ابن هود، وأروه الباطل في صورة الحق.