Оба варианта возможны.
Правила употребления буквы ё см. здесь.
Мягкий знак пишется перед -ся в неопределенной форме глагола (что делать? купаться) и не пишется в форме 3-го лица единственного и множественного числа (что делает? купается, что делают? купаются).