Ваши рассуждения верны. Заметим, правда, что пунктуационное оформление присоединительного оборота с сочетанием по крайней мере не зависит от того, сложное предложение или простое: Мы надеемся, что, по крайней мере в этот раз, всё будет иначе; Я не сдамся, по крайней мере в этот раз.