Выражение по крайней мере употреблено в предложении в качестве вводного, обособление требуется: Коллеги, даже после его прочтения вам всё равно будет сложно работать при поступлении большого количества клиентов, но, по крайней мере, вы будете знать, какие проблемы вам предстоит решать в ближайшие часы.

Этот пример не подходит под указанное правило по формальному признаку: отсутствие слов типа так или вот свидетельствует о том, что перед нами классическая конструкция с прямой речью, а не характеристика прямой речи. См. также ответ на вопрос № 324935.

Что касается кавычек, то их отсутствие в особых случаях использования прямой речи фиксируется справочниками. Помимо упомянутого примера из справочника под ред. В. В. Лопатина, можно привести цитату из справочника по пунктуации Д. Э. Розенталя: «В газетных текстах кавычки при прямой речи нередко опускают: Президент Франции сказал: Обмен мнениями был полезен; Почему же это происходит? — спрашивает газета». В таких случаях передается скорее смысл высказываний, что позволяет опустить кавычки. В Вашем же случае важна форма (какое именно выражение использовали на работе), поэтому кавычки нужны: «Исключительно добросовестный человек», — говорили о нем на работе.

Во второй части предложения есть формальное подлежащее – местоимение что, а значит, это двусоставное предложение. Получается, правило о непостановке запятой перед одиночными союзами и, или, либо, соединяющими структурно однотипные части, здесь не работает.

Вопрос об общем вводном слове в приведенном предложении не столь прост. С одной стороны, по смыслу слово наверное вполне может относиться как к первой грамматической основе (нездоровится), так и ко второй (что бывает), и это основание не ставить запятую перед союзом. С другой стороны, в предложении можно увидеть не предположения о том, что случилось (сравним действительно альтернативные версии: Наверное, ему нездоровится или его кто-то отвлёк), а сомнения в том, что слово нездоровится можно употребить по отношению к младенцу (в предложении не идет речь о двух предполагаемых ситуациях, а отражен поиск точного слова для обозначения одной ситуации). В таком случае вторая часть будет носить присоединительный характер, и это аргумент за постановку запятой перед союзом. В пользу этой версии может свидетельствовать то, что слово наверное невозможно присоединить напрямую ко второй части: *наверное, что там с младенцами бывает (тогда как предложение Наверное, ему нездоровится или его кто-то отвлёк легко раскладывается на два: Наверное, ему нездоровится и Наверное, его кто-то отвлёк).

Отметим, что приведенное предложение носит разговорный характер, а пунктуационные правила записи разговорной речи не разработаны детально, да и возможно ли их детально разработать, учтя все возможные варианты высказываний, – отдельный вопрос. 

Дело в том, что тягость - отдельное слово, существительное.

ТЯГОСТЬ, -и; ж.
1.
к Тягостный. Т. налогов. Т. потери. Т. похода. Т. впечатления.
2.
То, что затрудняет, обременяет. Родителям дети не в т. Старик стал в т. родным. Какую т. ты взвалил на себя! Иной раз я сам себе становлюсь в т.
3. обычно мн.: тягости, -ей.
Трудности, затруднения. Претерпеть все тягости дороги. Пережить тягости войны. Не думай о возможных тягостях! Никакие тягости нас не остановят.
4. Устар.
Болезненное ощущение тяжести (в теле, голове)
при нездоровье, усталости. Т. в груди невыносимая. Т. в голове. Т. в руках, ногах - все кости ломит.

Обращение не упоминается как компонент, объединяющий две части сложносочиненного предложения, ни в полном академическом справочнике «Правила орфографии и пунктуации» под редакцией В. В. Лопатина, ни в руководствах Д. Э. Розенталя, ни в «Правилах орфографии и пунктуации» 1956 года. Наиболее общий принцип, лежащий в основе правил об «отмене» запятой в сложносочиненном предложении, сформулирован в Правилах 1956 года:

«Запятая перед союзами и, да (в значении «и»), или, либо не ставится, если соединяемые ими предложения имеют общий второстепенный член или общее придаточное предложение. Наличие общего второстепенного члена или общего придаточного предложения тесно связывает такие предложения в одно целое...»

То есть объединяет части какой-то компонент, который является структурным и смысловым элементом обеих частей предложения, или относится к обеим частям. Обращение грамматически не связано с предложением, не является членом предложения. Вероятно, это дает основание авторам руководств по пунктуации не упоминать обращение как компонент, «отменяющий» запятую. При этом и в академическом справочнике, и у Д. Э. Розенталя говорится, что объединяющую функцию может выполнять вводное слово, а оно, как и обращение, не является членом предложения. Однако это кажется вполне соответствующим принципу, прописанному в правиле: вводное слово, указывая на оценку достоверности высказывания, выражая чувства говорящего и т. д., относиться ко всему предложению в целом, объединяет его части.

Может ли такой функцией обладать обращение? Нам кажется, что объединяющий потенциал у обращения есть. «Русская грамматика» пишет:

«Обращение не является таким распространителем, который никак не связан с остальным составом предложения. Такая связь существует. Она выражается, во-первых, в том, что любое предложение, сообщающее о действии или состоянии определенного субъекта и имеющее в качестве сказуемого глагол в форме 2 л., с абсолютной регулярностью может распространяться обращением, называющим субъект, который либо обозначен в подлежащем местоимением, либо не обозначен совсем: Куда так, кумушка, бежишь ты без оглядки? (Крыл.); Ах, раскиньтесь, строчки песнопений, над землею вечно молодой (Прок.); Откройся, мысль! Стань музыкою, слово (Забол.).

<...>

В художественной литературе, в поэзии функции обращения расширяются и обогащаются. Основная, общеязыковая функция адресования речи сохраняется; однако здесь она не только не является единственной, но очень часто оказывается ослабленной или преобразованной».

Здесь же приводится несколько примеров такого расширения функций обращения: «В поэтической речи обращение может вводить основную тему, называть тот предмет, которому посвящено последующее повествование», «сохраняя функцию называния того, к кому адресована речь, обращение в художественной, поэтической речи часто сосредоточивает в себе центральную часть сообщения» и др.

Таким образом, мы видим, что обращение может быть семантически очень значимым компонентом предложения, по смыслу связанным со всем предложением. А значит, оно способно объединять части.

В Ваших предложениях в соответствии с буквой правила запятую ставить нужно, но духу правила отвечает вариант без запятой. Внутри частей есть местоимения, которые указывают на того, кто назван в обращении, то есть связь частей с обращением выражена.

Однако мы нашли предложения (и пока только такие), где при наличии обращения объединения не происходит, например: Сынок, я всю жизнь оберегал Амина, и всю жизнь меня за это били по рукам [О. Гриневский. Восток ― дело тонкое (1998)]

Очевидно, что Ваш вопрос требует научного изучения, а правила ― уточнения.

1. Деепричастие пья не является нормативным и употребляется крайне редко. См., например: Даже едя и пья, не преследуют вкуса ― лишь бы нажраться (И. А. Бунин. Дневники). Всё это делал Шухов и хлеб начал помалу отламывать от двухсотграммовки, сам же слушал обневолю, как внизу под ним, чай пья, разговорились кавторанг с Цезарем (А. Солженицын. Один день Ивана Денисовича). Деепричастие можно заменить придаточным обстоятельственным предложением: когда мы пили... когда пьют...

2. Пье – несклоняемое существительное, образованное от исп. слова pie 'фут'. Обозначает единицу длины в ряде стран Лат. Америки, в Испании, Бельгии; колеблется в пределах 27,83 – 32,48 см. (См.: Крысин Л. П. Толковый словарь иноязычных слов. М., 2000.)

Это разные предложения, удобно написать второе с красной строки, чтобы легче было прочитать ответ.