Логика в этом есть. Однако на сленговые слова правила и нормы литературного языка, строго говоря, не распространяются.
Воспользуйтесь окном «Искать на Грамоте» на нашем портале.
Верно: Сколько бы я... ни бывал (имеется в виду, что бывал много раз).