Само по себе это выражение не обособляется. Однако если далее следует придаточная часть сложного предложения, то нужна запятая: Держу пари, что...
Выражение про унтер-офицерскую вдову, которая сама себя высекла, является собственно русским, возникло оно в середине XIX века. Этот оборот – переосмысление слов Городничего в комедии Н. В. Гоголя «Ревизор» (1836). Городничий, отвечая на жалобу незаконно высеченной властями унтер-офицерской вдовы, оправдывается абсурдным утверждением, что она сама себя высекла.
Это разговорное выражение.
Полагаем, что это разговорное выражение.