Этот вопрос связан с употреблением возвратных глаголов разного типа. Речь идет о возвратных глаголах, у которых постфикс -ся не формирует страдательного значения, ср: Дом строится (страдательный залог); Я умываюсь (действительный залог). Возвратные глаголы, не связанные с образованием форм залога, могут относится к различным словообразовательным типам. Глаголы типа целоваться относятся к взаимно-возвратным (целоваться, обниматься и т. п.), функция постфикса -ся состоит у них в привнесении значения взаимности, отсутствующего у исходных переходных глаголов несовершенного вида (целовать, обнимать и т. п.). Эти глаголы используются в личных предложениях, поэтому использовать безличную конструкцию типа *нам целовалось нельзя.

Глаголы типа гуляться относятся к безлично-возвратным. Они образуются от непереходных глаголов несовершенного вида, используются преимущественно в отрицательных предложениях и в этом случае – помимо понижения степени зависимости предикативного признака от воли субъекта – выражают наличие каких-то препятствий к реализации желаемого или необходимого: ‘хочу, но не могу’, ‘не хочу, но должен’: Мне не работалось. Сегодня плохо работается. Пошли гулять, но как-то не гулялось. Безлично-возвратные глаголы употребляются в безличных предложениях, при них часто (но не обязательно) есть дополнение в дательном падеже, обозначающее субъекта действия. Этот словообразовательный тип является достаточно продуктивным (не спится, не пишется, не читается и т. д.).

Это выражение в указанном Вами значении не входит в число фразеологизмов русского литературного языка. Тем не менее в индивидуально-авторском употреблении такое выражение возможно.