Знак препинания зависит от смысла. Тире нужно поставить, если первая часть указывает на время (Когда испуганный ребенок осторожно высунул лицо из-под одеяла, монстра как не бывало). Двоеточие соответствует другой интерпретации смысловых отношений между частями: Испуганный ребенок осторожно высунул лицо из-под одеяла и увидел: монстра как не бывало.
Правильно: как не бывало, дождя как не бывало. Здесь употребляется не в своей обычной функции отрицательной частицы.