Пунктуация зависит от контекста, но чаще слова недолго думая обособляются как деепричастный оборот.
Такое написание сегодня ненормативно. Современная норма такова:
При смысловом подчеркивании отдельных членов вопросительного или восклицательного предложения знаки препинания ставятся после каждого из членов, которые оформляются как самостоятельная синтаксическая единица, т. е. начинаются с прописной буквы: — Что вас привело к ним? — неожиданно бытовым, ворчливым голосом спросил он. — Недомыслие? Страх? Голод? (А. Т.); — Где же те силы, которые питают национальный дух и делают русского русским, узбека узбеком, а немца немцем? Природа? Среда обитания? Вообще среда? Язык? Предания? История? Религия? Литература и вообще искусство? И что тут стоит на первом месте? (Сол.); — Аннушка, наша Аннушка! С Садовой! Это ее работа! (Булг.).
Однако прописные буквы заменяются строчными, если перед перечислением стоят знаки двоеточие или тире (впереди имеется обобщение): Всё отвергал: законы! совесть! веру! (Гр.); Она спросила, кто он, не француз ли, и стала по его просьбе гадать: бельгиец? датчанин? голландец? (Наб.); Вот так играть свою игру — шутя! всерьез! до слез! навеки! не лукавя! — как он играл, как, молоко лакая, играет с миром зверь или дитя (Ахмад.).
