Корректно: Не секрет, что он тогда ходил в магазин. Не секрет — это не вводное слово, а самостоятельное предложение.
Женская фамилия Серба склоняется, если ударение падает на первый слог.
«Не секрет» в данном контексте означает «это всем известно» или «это общеизвестный факт». В русском языке существует устойчивое сочетание «не секрет, что...», которое употребляется для введения общеизвестной информации. Пропуск союза весьма характерен для разговорной речи и, на наш взгляд, не создает трудностей для понимания текста.
В принципе, такая фраза возможна.
Из этих вариантов лучше: Четыре и один секрет.
Такое сочетание возможно.
Кавычки в этом случае не требуются.