Да, нужно: С тобой — нет.
Запятая не нужна.
См. в «Непростые слова».
Смысл фразы полностью определяется интонацией. Если логическое ударение падает на слово сплю, фраза выражает те смыслы, о которых Вы написали, т. е. «Я с тобой не только сплю, но еще и...». Если же при произнесении фразы логическое ударение падает на слове тобой, это однозначно обозначает «сплю не только с тобой, но и с другими».