Интересный случай. Кавычки — знак дословной передачи чужой речи. При пересказе они использоваться не должны. Можно было бы оформить предложение как бессоюзное:

Как он там говорил? Двадцать три года живу здесь, никого, кроме зайцев и белок, не трогаю — так вроде бы...

Ср. с примером из справочника по пунктуации: Идти вперёд или погибнуть — так стоял вопрос перед партизанским отрядом.

Но Ваше предложение по форме является предложением с прямой речью. Говорящий думает, что он передает чужую речь более или менее точно. Полагаем, что границы этой восстанавливаемой по памяти прямой речи желательно показать, чтобы предложение легко и правильно воспринималось: 

Как он там говорил? «Двадцать три года живу здесь, никого, кроме зайцев и белок, не трогаю» — так вроде бы...

После закрывающих кавычек ставится только тире (независимо от того, каким знаком препинания заканчивается прямая речь) в тех случаях, когда в последующих авторских словах содержится характеристика прямой речи, ее оценка и т. д. (авторская ремарка начинается словами так говорит, так указывает, вот что сказал, вот как описывает и т. п.): «Ничего не случилось» — так говорил ум; «Случилось» — так говорило сердце; «Нет ничего прекраснее этих снежных вершин» — так описывает эту местность один путешественник; «Будь внимателен и осторожен!» — вот что он сказал мне на прощание.

Белые воротнички - работники умственного труда, служащие, чиновники, работники аппарата управления, менеджеры, инженерно-технический персонал; синие, голубые воротнички - рабочие, занятые физическим трудом, преимущественно на крупных предприятиях.

Сравните словарные статьи из "Малого академического словаря" (Словаря русского языка в 4 томах). Обратите внимание, что во втором значении сравниваемые слова несинонимичны.

СЕЙЧА́С, нареч.

1. В настоящий, в данный момент. [Варвара Михайловна:] Оставайтесь пить чай! [Замыслов:] Если позволите, я приду потом. А сейчас — не могу! М. Горький, Дачники. || В настоящее время, теперь. — По совести говоря, я бы сейчас полком должен командовать, — характер неуживчивый! А. Н. Толстой, Аэлита. [Вишняков:] Я, да и не только я, разве мы так жили, как сейчас живешь ты? Михалков, Красный галстук. || Только что (о прошедшем действии, событии). Я сейчас из леса: как он хорош, осыпанный, обремененный снегом. И. Гончаров, Фрегат «Паллада». — Я сейчас диссертацию защищал, — сказал он, садясь. Чехов, Попрыгунья. || В самом скором времени, скоро (о предстоящем действии, событии). [Паншин] объявил ему, что Марья Дмитриевна сейчас выйдет. Тургенев, Дворянское гнездо. Клим стоял, держась за спинку стула, ожидая, что сейчас разразится скандал. М. Горький, Жизнь Клима Самгина.

2. (обычно с частицей „же“). Немедленно, в тот же момент, сразу. Бывало, мы его вздумаем дразнить, так глаза кровью и нальются, и сейчас за кинжал. Лермонтов, Бэла. — Это безобразие, конфуз! Сейчас же извиняйся в своем поступке. Вересаев, Два конца. || В непосредственной близости, сразу за чем-л., рядом. Сейчас за огородом и службами начинались господские поля. Салтыков-Щедрин, Пошехонская старина. Во дворе, сейчас же за воротами, дворник Ермолай жалобно побренькивал на балалайке. Чехов, Беззаконие.

ТЕПЕ́РЬ, нареч.

1. В настоящее время, в данный момент; сейчас. — Завтра приходи со мною проститься, а теперь ступай себе спать. Пушкин, Капитанская дочка. Донец течет быстро, часто меняя фарватер. Там, где две недели тому назад был брод, теперь омут. Вс. Иванов, Пархоменко.

2. в знач. союза. Употребляется при переходе к новому предмету мысли, повествования. Теперь должен я благосклонного читателя познакомить с Гаврилою Афанасьевичем Ржевским. Пушкин, Арап Петра Великого. || Прост. Кроме того. — На обоих [плугах] лемехи менять надо. А у этого, видишь, рукоятка сбита, враз пахарь руку сотрет — и не работник. Теперь у сеялки два сошника погнуты. Лаптев, «Заря».

Запятая поставлена правильно: здесь обычный сравнительный оборот. Запятая не ставится, например, внутри сочетаний (не) больше чем, (не) меньше чем, (не) раньше чем, (не) позже чем и т. п., если они не содержат сравнения: Посылка весит не больше чем восемь килограммов (ср.: ...не больше восьми килограммов).

В этом предложении нужна запятая перед или: союзами ли…или связаны соподчиненные придаточные части (см. примечание 4 к параграфу 35.5 справочника по пунктуации Д. Э. Розенталя).