В этом предложении слово один употребляется как прилагательное в значении 'только тот, который указан; единственный' (ср. с примерами из «Большого толкового словаря» под ред. С. А. Кузнецова, иллюстрирующими это значение: В одном труде радость. У меня одни руки замёрзли, ноги в тепле. Всю жизнь знали одну лишь работу. Ты одна моя награда! Одним только детям и художникам свойственно удивляться жизни). Прилагательное входит в группу сказуемого (один стыд). Частица только находится внутри группы сказуемого, а не после подлежащего.

Дефис не нужен: Надо встретиться погулять.

Вообще говоря, деепричастные обороты обычно и являются обстоятельствами, обозначая "дополнительное действие"; в этом состоит их синтаксическая функция. Как правило, деепричастия с наречным значением можно заменить на наречия или существительные, ср.: поезд шел не останавливаясь - поезд шел без остановки. В рассматриваемом примере деепричастие легко заменяется глаголом: ...можно, если вцепиться...