Корректно: Не секрет, что он тогда ходил в магазин. Не секрет — это не вводное слово, а самостоятельное предложение.
Просим Вас обратиться к электронным словарям нашего портала (окошко «Проверка слова» вверху этой страницы).
Вариант сходить за водой стилистически нейтральный, вариант по воду уместен в народно-поэтической речи. По хлеб – неправильно.
Если в подобных предложениях не используется союз что, между частями следует ставить двоеточие, а не запятую. Корректно: Мы рады сообщить: наш магазин открылся!