Рекомендуемый вариант:
— Здесь стояла моя батарея. Мы били по фашистским самолетам, которые летели к Москве.
— Здесь? — Мальчик удивлённо посмотрел на крыльцо и потрогал рукой перила.
— Да, да, здесь.
Я почувствовал, что он не верит мне.

Знаки препинания расставлены корректно.

Если деепричастный оборот открыв рот используется не в буквальном, а в переносном смысле ('изумленно, удивленно'), он имеет значение обстоятельства образа действия и не обособляется. Об условиях необособления деепричастных конструкций, см., например, параграф 71 полного академического справочника «Правила русской орфографии и пунктуации» под ред. В. В. Лопатина.

Такое наречие фиксирует «Словарь наречий и служебных слов русского языка» В. В. Бурцевой (М., 2007). Словарная статья из словаря:

Запомина́юще, нареч. Так, что можно запомнить. Запоминающе составили программу.

Приведем два примера из художественной литературы:

Дама внимательно, запоминающе смотрела на фотографию... (В. Кожевников. Щит и меч);

Раздвинув плющ, на него смотрели две девушки ― одна высокая, черноволосая, с лицом строгим, диковатым, вторая ― в прозрачном капюшоне, ярко-коричневые глаза ее глядели удивленно и запоминающе (Д. Гранин. Иду на грозу).

В этом случае восклицательный знак замещает вставку и поэтому пишется в скобках. Соответственно, если восклицательный знак пишется в скобках внутри предложения, до и после скобок нужны пробелы: На остальных досках шахматисты одержали восемь (!) побед.