伊斯兰教育伴随着伊斯兰教的传播而开始，回族穆斯林的伊斯兰教育伴随伊斯兰教的传入而开始了。回族的先辈是中国经商的阿拉伯、波斯斯、哈里发帝国派来华的官方使节、唐时来华帮助平安史之乱的阿拉伯、波斯军队、元初大批来华的阿拉伯、波斯、中亚各信仰伊斯兰教的少数民族中的军队、工匠、商人、学者。回回是其中一支。元末明初，即回族成之前，这些外来的穆斯林说的基本上是阿拉伯语和波斯语，而波斯语更流行。无时回回政治地位优越，国家设“回回国子监”。教授“亦思替非”文（阿拉伯文）和波斯文，从回回中培养国家公务员和翻译人才，但“回回国子监”是否讲授伊斯兰知识，无从考查，我们可能把它算作公办的回族穆斯林普通教育。那么，这个时期的伊斯兰教育是如何进行的呢？穆斯林要做“五时拜功”，要举行其宗教仪式，必须学会通读《古兰经》，要学习基本的教义、教法，所以，必须接受伊斯兰教育。这段历史时期中国穆斯林的伊斯兰教育，根据资料和推断，有以下几种： 
　　①穆斯林在自己的家中向自己的子女和新入教的穆斯林口头教授阿拉伯语音、读法，教会他们诵读《古兰经》，过宗教生活，口头教授基本教义、教法知识。

　　②来华传教的“答什蛮”（阿訇、宗教学者，波斯语，元朝官方称“答什蛮”）向穆斯林群众口头传授伊斯兰知识，传诵《古兰经》、教授他们生活中的语言——波斯语和阿拉伯语。

　　③“答什蛮”在各地设“回子房”，作为宗教教育和宗教活动的中心。

　　以上形式，可以说是中国回族穆斯林定居的内地经堂教育的雏形，后来成为胡太师创立经堂教育的基础。而新疆地区伊斯兰教育的情况和内地略有不同，它近似阿拉伯伊斯兰国有的情况。早在10世纪，喀喇汗伊斯兰王朝在喀什建立官方萨吉耶经文大学；在10世纪中叶，建立军里克王室经学堂。