Верно: ...начало XX века.
Запятая ставится.
В современном русском литературном языке глагол плавать употребляется в том числе и в значении 'перемещаться по поверхности воды или в воде с помощью специальных приспособлений, устройств, двигателя (о судне) (о движении повторяющемся или о движении в разных направлениях, туда и обратно)', однако в значении 'будучи членом экипажа какого-л. судна, находиться на нём во время плавания' нормативен глагол ходить (ходить боцманом на сухогрузе, ходить матросом на речном теплоходе).
Буква ъ может писаться при передаче иноязычных собственных имен после букв, обозначающих парные твердые согласные, перед я, е, ё, ю и даже и. См. § 27 в «Правилах русской орфографии и пунктуации» под ред. В. В. Лопатина.
Существительные от глагола копать - копание и копка. Существительное от глагола выкапывать - выкапывание.
Правильно: на Неве, на реке Неве, в Москве, в городе Москве. О склонении географических названий см. в «Письмовнике».