Запятая не нужна.
Внутренняя речь, невысказанные мысли оформляются по правилам прямой речи. Постановка восклицательного знака возможна.
Точка необходима, если формально следовать правилу сочетания кавычек и других знаков, которое гласит: «Если перед закрывающими кавычками стоит вопросительный/восклицательный знак, то после кавычек он не повторяется. Неодинаковые же знаки, если они требуются по условиям контекста, ставятся и после закрывающих кавычек». Ср. в «Справочнике по русскому языку» Д. Э. Розенталя:
Я читаю роман А. И. Герцена «Кто виноват?».
Однако на практике в таких случаях точка часто не ставится: вопросительный (или восклицательный) знак перед кавычкой, закрывающей цитату, выполняет и функцию знака конца предложения, по аналогии с правилами оформления прямой речи.
Знаки препинания, обычные для конца предложения (вопросительный и восклицательный знак), могут ставиться после отдельных членов предложения при смысловом их подчеркивании. При этом после вопросительного или восклицательного знака используется прописная (большая) буква, как в начале самостоятельного предложения: Аннушка, наша Аннушка! С Садовой! Это ее работа! Прописные буквы заменяются строчными, если перед однородными членами предложения, требующими выделения вопросительным или восклицательным знаком, имеется обобщающее слово: Все отвергал: законы! совесть! веру!
Кроме этого, вопросительный и восклицательный знаки могут ставиться внутри предложения, если они относятся к вставным конструкциям или сами по себе замещают вставки, передавая отношение пишущего к содержанию: Девчушка (как же ее звали?) шла по улице; На остальных досках шахматисты одержали восемь (!) побед.
Это художественный стиль (язык художественной литературы).
