В предложении с прямой речью, которая стоит после авторских слов и заканчивается восклицательным или вопросительным знаком, точка в конце не ставится.

Интересный случай. Кавычки — знак дословной передачи чужой речи. При пересказе они использоваться не должны. Можно было бы оформить предложение как бессоюзное:

Как он там говорил? Двадцать три года живу здесь, никого, кроме зайцев и белок, не трогаю — так вроде бы...

Ср. с примером из справочника по пунктуации: Идти вперёд или погибнуть — так стоял вопрос перед партизанским отрядом.

Но Ваше предложение по форме является предложением с прямой речью. Говорящий думает, что он передает чужую речь более или менее точно. Полагаем, что границы этой восстанавливаемой по памяти прямой речи желательно показать, чтобы предложение легко и правильно воспринималось: 

Как он там говорил? «Двадцать три года живу здесь, никого, кроме зайцев и белок, не трогаю» — так вроде бы...

После закрывающих кавычек ставится только тире (независимо от того, каким знаком препинания заканчивается прямая речь) в тех случаях, когда в последующих авторских словах содержится характеристика прямой речи, ее оценка и т. д. (авторская ремарка начинается словами так говорит, так указывает, вот что сказал, вот как описывает и т. п.): «Ничего не случилось» — так говорил ум; «Случилось» — так говорило сердце; «Нет ничего прекраснее этих снежных вершин» — так описывает эту местность один путешественник; «Будь внимателен и осторожен!» — вот что он сказал мне на прощание.

См.: 722">http://gramota.ru/spravka/punctum/58722

Вводное сочетание кстати о птичках является цельным, фразеологическим: произнося его, говорящий едва ли предполагает говорить далее именно о птичках, тогда как, произнося кстати, о наболевшем, он планирует говорить именно о наболевшем. Сравним: Мои вины уже позабыты, и вроде уже должок за ней — она дома, а я вот в больнице. Уважают в России болезнь. Кстати, о птичках… Что ты думаешь о теореме Ферма? [Сергей Юрский. Теорема Ферма (1994)]; А чего стоит загадочный, скрытый туманом аэродром «Буревестник»! Отсюда камикадзе взлетали бомбить Перл-Харбор в 41-м. Кстати, о птичках: на Итурупе через пару месяцев достроят новый всепогодный аэропорт — единственный в истории современной России возведенный полностью с нуля [Комсомольская правда, 17.05.2014]. В связи с этим и запятая после кстати внутри этого сочетания не требуется. Отметим, правда, что в практике письма ее часто ставят — это показывают и приведенные примеры. 

Отличить вводное слово кстати от наречия кстати можно по значению — см., например, «Справочник по пунктуации». Сочетание кстати, о + существительное рассматривается как специфическая языковая единица — текстовая скрепа (скрепа-фраза). В этом сочетании слово кстати по своему значению вводное, поэтому пропускать запятую здесь нет оснований.

Запятую можно поставить, но она необязательна.

Да, кавычки уместны: они подчеркнут, что пишущий осознает стилистическую особенность этих сугубо разговорных слов.