La première mosquée, construite en 795 par le premier gouverneur arabe, a été agrandie par Ismaïl Samani. Elle s'effondra à deux reprises durant le règne de son neveu Nasr avant d'être incendiée en 1068 et détruite par les Mongols en 1219. La structure que l'on voit de nos jours a été achevée en 1514, comme l'atteste une inscription à l'entrée principale.
