Фраза корректна. Мы с Петей - это я и Петя.

Все мужские фамилии, имеющие основы на согласные и нулевое окончание в именительном падеже (на письме они кончаются согласной буквой, ь или й), кроме фамилий на -ых, -их, склоняются как существительные второго склонения мужского рода, т. е. имеют в творительном падеже окончание -ом, (-ем): Липпоненом, Халоненом, Герценом, Левитаном, Гоголем, Врубелем, Хемингуэем, Гайдаем. Такие фамилии воспринимаются как «нерусские».

Соотносительные женские фамилии не склоняются: Наталии Александровны Герцен, Любови Дмитриевне Блок, с Анной Липпонен.

Нерусские фамилии, относящиеся к двум или нескольким лицам, в одних случаях ставятся в форме множественного числа, в других — в форме единственного:

1) если при фамилии имеются два мужских имени, то она ставится в форме множественного числа, например: Генрих и Томас Манны, Август и Жан Пикары, Адольф и Михаил Готлибы; также отец и сын Ойстрахи;

2) при двух женских именах фамилия ставится в форме единственного числа, например: Ирина и Тамара Пресс;

3) если фамилия сопровождается мужским и женским именами, то она сохраняет форму единственного числа, например: Франклин и Элеонора Рузвельт, Рональд и Нэнси Рейган, Ариадна и Петр Тур, Нина и Станислав Жук;

4) в единственном числе ставится также фамилия, если она сопровождается двумя нарицательными существительными, указывающими на разный пол, например: господин и госпожа Клинтон, лорд и леди Гамильтон; однако при сочетаниях муж и жена, брат и сестра фамилия чаще употребляется в форме множественного числа: муж и жена Эстремы, брат и сестра Ниринги;

5) при слове супруги фамилия ставится в форме единственного числа, например: супруги Кент, супруги Мейджор;

6) при слове братья фамилия тоже обычно ставится в форме единственного числа, например: братья Гримм, братья Шпигель, братья Шелленберг, братья Покрасс; то же при слове сёстры: сёстры Кох;

7) при слове семья фамилия обычно ставится в форме единственного числа, например: семья Оппенгейм, семья Гофман-сталь.

Предложение написано верно.

В этом восклицательном предложении содержится частица не: Да с кем они только не танцевали!

Правильно: Что бы ни говорили, как бы ни клялись...