فبدأ الأخذ عن كبار شيوخ بغداد من أمثال: أبي القاسم البغوي - الذي أخذ عنه ثمانمائة جزء -، ويحيى بن صاعد، وعبد الله بن سليمان بن الأشعث، يقول ابن شاهين بشأنهم: (وكذا كتبت عن ثلاثة من شيوخنا في هذا السن، فتبركت بهم، ورجوت أن أكون منهم.
كما سمع في بغداد من: محمد بن سليمان بن الحارث، ومحمد بن هارون بن المجدر، ونصر بن القاسم الفرائضي، ومحمد بن محمد الباغندي، وأبي ذر الباغندي، وأبي عبد الله بن محمد بن سليمان المكي وطبقتهم.