清真古寺原是由郁家花园改建而成，俗称北大寺，1742年又在阿訇李中和的主持下兴建成现在规模，当时主要建筑有讲堂、西大殿、望月楼，配房等，是回族同胞做礼拜的场所，其中望月楼毁于文革期间。

    清真古寺是台儿庄大战后保留最完整的一处遗址。当时为186团团部的指挥所，是中日双方争夺的焦点，当时战斗场景相当激烈，一个拉据战就打了七天七夜，门墙上面弹迹痕痕，弹孔累累，至今依然历历在目、清晰可见，它是当时日军侵华的一个铁证。1988年中国革命历史博物馆取走清真寺外墙一块弹孔累累的砖墙面，陈列在博物馆内，以教育后人勿望国耻。

    寺院布局为南北走向，院内苍松翠柏傲然挺立，原来的四棵松柏经过战火的洗劫只留下两棵，其中一棵还处于半枯半荣状态，树躯上弹孔累累，弹头历历可见。两棵松柏目睹当年的战斗场景，经过炮火的洗礼仍顽强活着，他们向世人显示：中华民族是威武不屈的，任何外来侵略者终会失败。

    改革开放后，清真寺重新修葺一番，除保留原有的建筑外，又建了西大殿，复建了望月楼。这里既是一个宗教事务场所，又是台儿庄大战遗址的一个重要旅游景点，来此游览参观者络绎不绝。游客或凭吊或沉思，有诗为志：“垂老重游旧战场，弹痕布满寺门墙。当年炮火纷飞处，今天变成“鱼米乡”。

　　清真寺为二进院，占地面积2800平方米（原有面积5000平方米），有伊斯兰教特有的建筑，如大殿（礼拜殿）、讲堂（讲经堂）、水房（沐浴室）、省心楼等，布局紧凑严整。寺院开有东西两门，1958年扩建解放路前，东门为正门，面临狭窄的东米市牛肉巷。扩建解放路后，西门改为正门，面临宽阔的解放路大街。 省心楼，是教民们忏悔的地方，面对东门入口，峭立于庭院中央。上下两层，重檐歇山顶，四周檐角双层飞翘，底层外围红漆木柱内倾支撑，玲珑俊俏。内有明代著名学者方孝孺的题匾：“声吟不及清”，字为草体，龙飞凤舞，堪为书法珍品。省心楼的西北、西南两侧，六角碑亭对峙。北亭石碑立于清康熙三十三年（1694），碑面刻文为康熙皇帝的诏谕，“文革”期间大都被凿。

　　寺内大殿为砖木混合结构，檐柱砌入墙内，殿内为阿拉伯式装饰，圆柱挖槽迭楞，彩绘施沥粉贴金，富丽堂皇。周围木壁上刻有阿拉伯文《可兰经》第二十九、三十本中经文数段，雕刻精细工整。整个大殿，宽大疏朗，布局严谨。

　　进入院内，装点颇觉雅致，布局合理、紧凑。院中央有明代建筑省心枫楼，重檐歇山顶，檐桷辉飞，彩色熠熠。省心楼两侧，左右碑亭对峙，亭阁风雅丽，气度不凡。亭内碑刻为黄庭草书，元赵孟俯和清初傅青主观后题铭，字体劲秀，笔力挺拔。还有明方孝孺等人榜题和清刘石安书“心修忠孝, 志义齐仁”八个大字，书法皆佳。

　　南亭石碑立于清同治七年（1868），正面镌刻明代洪武皇帝对回教的百字御赞文。背面刻有北宋黄庭坚、元代赵子昂、清代傅山、刘石庵等书法家的题词题名。 庭院的西面是讲经堂和防火墙。讲经堂是宣讲《古兰经》和传教的场所。防火墙将古寺分隔为两院，距大殿约8米，与大殿等宽，与殿前檐等高，墙厚1米，中开铁门。如果前院失火，只要把铁门关闭，即可使大殿免遭火灾。这种防火措施，在我国古建筑中尚不多见。 穿过防火墙，即是原第二进院。迎面是古朴恢宏的礼拜大殿，为清真寺的主体建筑，是教徒们做礼拜的场所。

　　大殿座西向东，殿宽五间，进深六间，高6．22米，单体面积460平方米，高大宽敞，可容纳500余人作礼拜。殿顶由硬山和卷棚顶相连组成，施布筒瓦，前有廊，饰垂莲柱吊楣，殿门上悬挂“开天古教”匾额。殿内建筑装饰融合了阿拉伯建筑风格和中国传统工艺手法，中西合壁，格调得宜。檐柱砌在墙内，四壁由护墙板封闭，“内不见砖，外不见木”。

　　殿内突出的特征是无画像，无塑像，不烧香，不摆供，与佛寺、道观截然不同。由于《古兰经》禁用动物的形象做装饰材料，因而殿内细部装饰纹样都是由阿拉伯文字和几何线纹组成，富有浓厚的阿拉伯风格。西墙右都有13阶木梯，称宣讲楼。大殿地面满铺绿色地毯，禁止穿鞋和携带物品进殿。整个大殿显得富丽堂皇，庄严肃穆。 伊斯兰教的礼仪形式和宗教活动多种多样，其中主要的有一周一次的穆斯林聚礼，每星期五午后举行，称“主麻日”。

　　另外，每年还有3个主要节日，即开斋节、古尔邦节和圣纪节。在这些节日里，穆斯林游客可沐浴盛装，举行会礼，诵经赞圣，互相祝贺，是接受教义、增进友谊和团结的盛会。