Корректно: здание Рейхстага (=Рейхстаг).
В значении 'здание в Берлине, памятник Второй мировой войны' правильно написание Рейхстаг: до самого Рейхстага.
В этом материале следует писать Рейхстаг с прописной буквы. Со строчной – в значении 'парламент', напр.: в Германии рейхстаг принимал следующие решения... В контекстах, где речь идет о штурме Берлина, водружении Знамени Победы, слово Рейхстаг употребляется в значении 'здание' (ставшее впоследствии памятником Второй мировой войны) и пишется с прописной.
В слове рейхстаг возможно твердое и мягкое произношение р.