Нет, это закономерное сочетание. См., например, 

Большой универсальный словарь русского языка

НАИЗУСТЬ, нареч.

1.0. В такой степени, к-рая позволяет дословно воспроизводить текст, не глядя в источник, где он зафиксирован графически. Син. на память, по памяти.

Выучить что-л. (заучить что-л., затвердить что-л., запомнить что-л., помнить несов. что-л., знать несов. что-л., читать, цитировать, шпарить зд. несов., разг. …) наизусть. □ Это стихотворение я знаю наизусть. ● 1.1. Очень хорошо, подробно, со всеми деталями, во всех подробностях.   Син. прекрасно. Ну что ты с ним споришь, он же юрист и знает этот закон, что называется, н. Я н. знаю всё, что она мне может сказать.

Интересный случай. Кавычки — знак дословной передачи чужой речи. При пересказе они использоваться не должны. Можно было бы оформить предложение как бессоюзное:

Как он там говорил? Двадцать три года живу здесь, никого, кроме зайцев и белок, не трогаю — так вроде бы...

Ср. с примером из справочника по пунктуации: Идти вперёд или погибнуть — так стоял вопрос перед партизанским отрядом.

Но Ваше предложение по форме является предложением с прямой речью. Говорящий думает, что он передает чужую речь более или менее точно. Полагаем, что границы этой восстанавливаемой по памяти прямой речи желательно показать, чтобы предложение легко и правильно воспринималось: 

Как он там говорил? «Двадцать три года живу здесь, никого, кроме зайцев и белок, не трогаю» — так вроде бы...

После закрывающих кавычек ставится только тире (независимо от того, каким знаком препинания заканчивается прямая речь) в тех случаях, когда в последующих авторских словах содержится характеристика прямой речи, ее оценка и т. д. (авторская ремарка начинается словами так говорит, так указывает, вот что сказал, вот как описывает и т. п.): «Ничего не случилось» — так говорил ум; «Случилось» — так говорило сердце; «Нет ничего прекраснее этих снежных вершин» — так описывает эту местность один путешественник; «Будь внимателен и осторожен!» — вот что он сказал мне на прощание.

Обычно безударные гласные перед -ть в глаголах не проверяют, а пишут по памяти. Ошибки встречаются редко, чаще в немногочисленных глаголах на -ять (таять, веять, сеять и др.), -еть (выздороветь, шелудиветь и др.), в парах типа обессилеть — обессилить. Однако правила выбора гласной в глаголах перед -ть есть, оно включено в полный академический справочник «Правила русской орфографии и пунктуации» под ред. В. В. Лопатина. Электронную версию можно найти здесь.