Верно, допустимы оба варианта. 

Согласно правилу в производных от слов на -мя всегда пишется -нн-, например: временной (от основы косвенных падежей времен-), временный, именной, теменной, пламенный, краснознамённый, беременный. В двух случаях прилагательные от слов на -мя образуются при помощи суффикса не -енн-, а -янн-, однако удвоенный согласный при этом сохраняется: безымянный и бессемянный (при наличии варианта бессеменной).

В обоих случаях возможны оба варианта.

Во второй части предложения есть формальное подлежащее – местоимение что, а значит, это двусоставное предложение. Получается, правило о непостановке запятой перед одиночными союзами и, или, либо, соединяющими структурно однотипные части, здесь не работает.

Вопрос об общем вводном слове в приведенном предложении не столь прост. С одной стороны, по смыслу слово наверное вполне может относиться как к первой грамматической основе (нездоровится), так и ко второй (что бывает), и это основание не ставить запятую перед союзом. С другой стороны, в предложении можно увидеть не предположения о том, что случилось (сравним действительно альтернативные версии: Наверное, ему нездоровится или его кто-то отвлёк), а сомнения в том, что слово нездоровится можно употребить по отношению к младенцу (в предложении не идет речь о двух предполагаемых ситуациях, а отражен поиск точного слова для обозначения одной ситуации). В таком случае вторая часть будет носить присоединительный характер, и это аргумент за постановку запятой перед союзом. В пользу этой версии может свидетельствовать то, что слово наверное невозможно присоединить напрямую ко второй части: *наверное, что там с младенцами бывает (тогда как предложение Наверное, ему нездоровится или его кто-то отвлёк легко раскладывается на два: Наверное, ему нездоровится и Наверное, его кто-то отвлёк).

Отметим, что приведенное предложение носит разговорный характер, а пунктуационные правила записи разговорной речи не разработаны детально, да и возможно ли их детально разработать, учтя все возможные варианты высказываний, – отдельный вопрос. 

Действительно, высказывание лучше разделить на два предложения. Впрочем, возможно и оформление в одном предложении, в этом случае после сочетания а точнее, состоящего из союза и вводного слова, можно поставить тире для выражения неожиданного присоединения (такие нерегламентированные варианты постановки знаков в целом не противоречат принципам русской пунктуации): Я здесь всю неделю, а точнее — я буду здесь всю свою жизнь.