পুরানো ঢাকার আরমানিটোলা এলাকায় তারা মসজিদ অবস্থিত। মসজিদটি নির্মাণ করেন মির্জা আহমেদ জান বা মির্জা গোলাম পীর। পরবর্তী ১৯২৬ সালে আলীজান বেপারী নামক একজন ব্যবসায়ী মসজিদটির সংস্কার করেন। আলীজান বেপারী বহু অর্থ ব্যয়ে মসজিদটিকে অলঙ্কৃত করেন, বিশেষ করে সমস্ত মসজিদটি তারকাখঁচিত করেন। এ কারণে এর বর্তমান নাম তারা মসজিদ।