Не обособляются деепричастия, которые являются обстоятельствами образа действия, напр.: Поезд шёл не останавливаясь («безостановочно»); Она говорила об этом улыбаясь («говорила с улыбкой»). В Вашем предложении-заголовке деепричастие не обозначает образ действия, оно указывает пусть и на парадоксальное по смыслу, но все же действие: хотя я ухожу, но при этом остаюсь. Так что запятую нужно поставить. 

Вообще говоря, деепричастные обороты обычно и являются обстоятельствами, обозначая "дополнительное действие"; в этом состоит их синтаксическая функция. Как правило, деепричастия с наречным значением можно заменить на наречия или существительные, ср.: поезд шел не останавливаясь - поезд шел без остановки. В рассматриваемом примере деепричастие легко заменяется глаголом: ...можно, если вцепиться...

Запятая не нужна. Не обособляются одиночные деепричастия, непосредственно примыкающие к глаголу-сказуемому и близкие по функции к наречиям образа действия (такие деепричастия отвечают на вопросы как? каким образом? в каком положении?). Да, часто такие деепричастия употребляются с частицей не (шел не останавливаясь, стоял не шелохнувшись, бросился на помощь не раздумывая, выстрелил не целясь), но этому правилу подчиняются и деепричастия, употребляющиеся без не (сидел наклонившись), т. е. дело не в частице, а в приобретении деепричастием наречных функций. Очень часто такие деепричастия можно заменить сочетанием предлога с существительным, ср.: шел не останавливаясь = шел без остановок. То же в приведенном Вами примере: говорить не говоря (ср.: говорить без слов).