Вы правы: на пляже отдыхают, загорают, а купаются в воде. Распространенность сочетания купание на пляже, видимо, можно объяснить тем, что пляж в этом случае широко понимается как в целом место для отдыха, где есть и песок, и какая-то вода (река, море и др.). Представляется, что такое сочетание можно признать допустимым в непринужденной речи, но не в образцовом употреблении.

Глагол купаться шире по значению. «Большой толковый словарь русского языка» под ред. С. А. Кузнецова определяет его так: погружаясь в воду, обмываться, плавать, плескаться. Так что на речке можно и купаться, и плавать. 

Можно использовать оба глагола. По смыслу здесь больше подходит слово ванна, чем ванная. Верно: купаться в ванне, мыться в ванне.