当年，左宗棠取得征讨阿古柏战役的彻底胜利后，随大军从陕西关中进疆的清军“健锐营”要裁撤，有一部分陕西回民不愿千里迢迢再返回原籍，便在当时清政府的安排下，在哈密永久定居下来。为了礼拜方便，他们便在陕西回民居住比较集中的光华路，修建了这座规模恢弘的清真寺。由于修建清真寺的主持人，以及募捐款项的来源皆为陕西籍回民，所以该清真寺便叫“陕西寺”。

陕西寺共占地2500平方米，有各类房屋100余间，正中的礼拜大殿占地450平方米。它是一座殿堂式的中式建筑。整个寺庙的布局类似“四合院”，进了山门，便是庭院，正中有天井，并有四排木柱支撑，上悬“教传西天”、“认一归一”、“清静无染”的匾额。再向上，便是礼拜堂，共有5楹，木格棂窗，雕花门扉，雕梁画栋，金壁辉煌。

陕西大寺是内地中原文化与西域文化相互融合的产物，中原殿堂建筑风格的清真寺在哈密安家落户，正是民族团结、融合的最好例证。