它始建于明朝洪武年间，迄今有600多年的历史。据史料记载，它是由明朝回族大将、西平侯沐英，奏请明太祖朱元璋恩准而修建，后来几经扩建，规模愈大。清同治年间，左宗棠率兵镇压西北回族反清斗争时，东关大寺及所藏的石碑等文物毁于兵燹。1913年在旧址重建，1919年秋竣工。1926年、1946年两次大规模的维修和扩建，特别是1999年大规模扩建，形成今日之宏大规模，其形象更为壮观。

      东关清真大寺是我国西部地区四大清真寺之一，至今已有六百多年的历史。寺院占地面积1.194万平方米，殿内和整个大寺处处都显得古朴雅致，庄严肃穆， 富有浓郁的伊斯兰特色。清真大寺建筑气势雄伟，金碧辉煌，集中体现了回族建筑艺术风格。正中的礼拜大殿是全寺最大建筑物，外形呈凤凰单展翅，砖木结构，具有我国古代宫殿建筑风格，大殿本体占地面积1102平方米，，南北楼各363平方米。该寺建造雄奇，与我国古代宫殿具有相同的风格和气魄，亦是雕梁彩檐、金碧辉煌，大殿内宽敞、高大、明亮，清净素雅，可以同时容纳3000人作礼拜，殿顶脊装有藏式鎏金宝瓶，为甘肃拉卜楞寺喇嘛所捐，为国内清真寺所仅见，大殿内的18根大柱为佑宁寺所赠。每当伊斯兰重大节日时，数以万计的穆斯林教徒聚集这里，举行隆重肃穆的宗教活动。

       东关清真大寺，不仅是广大穆斯林群众宗教活动场所，而且是伊斯兰经学研究的最高学府。民国以来，伊斯兰教伊赫瓦尼教派的创始人及其继承人，将该寺作为海乙寺(即中心寺)，培养造就了一大批伊斯兰教学者。甘青近千座清真寺的开学阿訇，由该寺选派或认可，因而在海内外享有声誉。