Запятая не нужна. Не обособляются одиночные деепричастия, непосредственно примыкающие к глаголу-сказуемому и близкие по функции к наречиям образа действия (такие деепричастия отвечают на вопросы как? каким образом? в каком положении?). Да, часто такие деепричастия употребляются с частицей не (шел не останавливаясь, стоял не шелохнувшись, бросился на помощь не раздумывая, выстрелил не целясь), но этому правилу подчиняются и деепричастия, употребляющиеся без не (сидел наклонившись), т. е. дело не в частице, а в приобретении деепричастием наречных функций. Очень часто такие деепричастия можно заменить сочетанием предлога с существительным, ср.: шел не останавливаясь = шел без остановок. То же в приведенном Вами примере: говорить не говоря (ср.: говорить без слов).
