Интересный случай. Кавычки — знак дословной передачи чужой речи. При пересказе они использоваться не должны. Можно было бы оформить предложение как бессоюзное:

Как он там говорил? Двадцать три года живу здесь, никого, кроме зайцев и белок, не трогаю — так вроде бы...

Ср. с примером из справочника по пунктуации: Идти вперёд или погибнуть — так стоял вопрос перед партизанским отрядом.

Но Ваше предложение по форме является предложением с прямой речью. Говорящий думает, что он передает чужую речь более или менее точно. Полагаем, что границы этой восстанавливаемой по памяти прямой речи желательно показать, чтобы предложение легко и правильно воспринималось: 

Как он там говорил? «Двадцать три года живу здесь, никого, кроме зайцев и белок, не трогаю» — так вроде бы...

После закрывающих кавычек ставится только тире (независимо от того, каким знаком препинания заканчивается прямая речь) в тех случаях, когда в последующих авторских словах содержится характеристика прямой речи, ее оценка и т. д. (авторская ремарка начинается словами так говорит, так указывает, вот что сказал, вот как описывает и т. п.): «Ничего не случилось» — так говорил ум; «Случилось» — так говорило сердце; «Нет ничего прекраснее этих снежных вершин» — так описывает эту местность один путешественник; «Будь внимателен и осторожен!» — вот что он сказал мне на прощание.

Тире возможно.

А какой смысл Вы хотите передать этой фразой?

Такой оборот не является речевой ошибкой.

Это конструкция, эквивалентная сложноподчиненному предложению без соотносительного слова. В таких конструкциях, как указано в пункте 6 раздела 21 справочника по пунктуации Д. Э. Розенталя, запятая может не ставиться «при отсутствии интонационного отделения». Сравним: Иди туда, куда шел — при наличии соотносительного слова запятая ставится обязательно.

Выражение идти в баню характеризуется современными нормативными словарями ка просторечное: Иди [ты] к чёрту (к дьяволу, на фиг, в баню, куда подальше и т. п.); шёл бы (пошёл бы) кто-л. к чёрту (к дьяволу, на фиг, в баню, куда подальше и т. п.) прост. – говорится при желании отвязаться, избавиться от кого-л. □ Шёл бы он в баню со своими советами! 

Предпочтительно с предлогом на.