Слова по возможности не требуют обособления.
Это абсолютные синонимы.
Пунктуация зависит от контекста, но чаще слова недолго думая обособляются как деепричастный оборот.
Нужно обособить этот оборот как вводный.
См. "Справочник по пунктуации".
Если в тексте это выражение синонимично наречию "быстро, спешно", то обособление, как правило, не требуется.
Сами по себе эти слова не требуют обособления.
Само по себе это выражение не обособляется. Однако если далее следует придаточная часть сложного предложения, то нужна запятая: Держу пари, что...