Корректно: Не секрет, что он тогда ходил в магазин. Не секрет — это не вводное слово, а самостоятельное предложение.
Предпочтительно: Барин со всеми его имениями себе не принадлежит.
Вариант сходить за водой стилистически нейтральный, вариант по воду уместен в народно-поэтической речи. По хлеб – неправильно.
Если в подобных предложениях не используется союз что, между частями следует ставить двоеточие, а не запятую. Корректно: Мы рады сообщить: наш магазин открылся!