Корректно слитное написание, т. к. слово можно заменить синонимом без не (трудно, тяжело). Впрочем, если автору важно подчеркнуть отрицание, он вправе написать раздельно.

Постановка знаков препинания при сочетании на самом деле зависит от его значения, позиции, функции в предложении. Так, если на самом деле относится к какому-то одному слову и выполняет функцию усилительной частицы, оно не выделяется запятыми: Далекие, чужеродные, словно на самом деле (= действительно) иноземцы, сидели за столом Анискин и Лука… (В. Липатов). Не выделяется оно и в том случае, если употребляется для противопоставления «внешнего» и «внутреннего»: Я ответил, что совершенно не пугаюсь. Но на самом деле (= в действительности) мне было и страшно и обидно за нашу Землю (К. Паустовский). Если сочетание на самом деле относится ко всему предложению и имеет значение «собственно говоря, в самом деле», то оно выделяется запятыми как вводное: Что еще, на самом деле, человеку надо? (А. и Б. Стругацкие). 

Исследователи отмечают, что в современной устной речи сочетание на самом деле имеет нечеткое значение, которое трудно соотнести со значениями, приводимыми в справочниках и словарях, и часто служит заполнителем вступительной паузы, во время которой говорящий подбирает слова. Е. Ю. Викторова в своей статье приводит примеры из телепрограмм: Я хочу себя изменить. На самом деле я не знаю, как это сделать (Модный приговор. 27.09.2013); На самом деле, просто нет слов, очень неожиданно для нас (Ледниковый период. 29.12.2013) и др. Есть основания полагать, что в приведенном Вами примере как раз такое употребление сочетания на самом деле. Его пунктуационное оформление в этом случае неустойчиво, однако, поскольку «примеры из художественной литературы показывают, что слова «на самом деле» в подавляющем большинстве случаев не обособляются» (см. наш «Справочник по пунктуации»), мы бы не рекомендовали выделять его запятыми.