五层的塔楼上带有绿色的穹顶，红白相间的墙体，挺拔高耸的宣礼塔以及两侧对衬圆顶，尖券拱形高窗，洋溢着庄严肃穆、宁谧厚重的宗教气氛。
正门门厅两侧为小厅，过门厅为一大厅，二楼为一小厅和两间办公室及上宣礼塔的楼梯间，地下室为洗浴室与卫生间。
该建筑的艺术处理上，有两个主要的特点：一是，它的入口处在门厅的顶部建有一个细而高的，带有收分和分节，近似于圆锥体的光塔。这种光塔造型奇特，源于阿拉伯。
塔下为建筑的主要入口，重点突出。二是，正殿之上建有一个不带鼓座的，有拜占庭遗风的中央大穹顶，形成整座建筑的构图中心，构成垂直轴线。
穹顶和光塔一前一后，塔身峭拔、挺立，穹顶雍容夺目，充满蓬勃的生命力。

该清真寺最初的教徒主要是土耳其人和来自俄国的依特尔人，这些伊斯兰教徒在俄国被称为鞑靼人，所以把这座清真寺称为鞑靼清真寺。
据说该寺是北方地区唯一的鞑靼族清真寺。
新中国建立后，各国在中国境内的侨民相继回国。
1953年8月，鞑靼清真寺被当时的代管人基塔耶夫出租给了中国五金机械公司哈尔滨分公司，由阿克秋琳娜做为寺院产权监护人，1966年由道里区人民武装部借用。

20世纪90年代末，当时的寺院监护人阿克秋琳娜到美国后，通过美国的鞑靼协会与国务院宗教事物管理局联系，决定把该寺归还给哈尔滨市伊斯兰教协会。
2001年5月，哈尔滨市政府将该寺交给市伊斯兰教协会。
同时，哈尔滨市政府投入206万元，动迁院内居民，按原貌对建筑进行维修整饰，设置了欧式通透围栏，辟建广场1200平方米，铺设草坪700多平方米。
整治后的鞑靼清真寺重现了昔日风采。