Запятая нужна: Карандашом подпишите, пожалуйста.

В им. и вин. падежах количественное числительное управляет падежом существительного (требует род. падежа зависимого слова). В остальных падежах количественное числительное согласуется по падежу с главным словом — существительным. Согласование по числу между существительным и количественным числительным невозможно, поскольку последнее не имеет грамматического признака числа.

В формах именительного и винительного (когда он совпадает с именительным) падежей главным словом является количественное числительное, синтаксическая связь — управление. В формах косвенных падежей (включая винительный, когда он совпадает с родительным) главным словом является существительное, синтаксическая связь — согласование.

Корректно: Чьи это карандаш и ручки?

Корректны оба варианта. 

Если подчеркивается наличие разных предметов, требуется множественное число существительных: рукопись написана синей и черной ручками, простым и красным карандашами.

Корректно слитное написание: Он вернул набор непишущих ручек и набор незаточенных карандашей. 

Очевидно, это интонационное тире, которое «ставится для указания места распадения простого предложения на словесные группы, чтобы подчеркнуть или уточнить смысловые отношения между членами предложения, когда другими знаками препинания или порядком слов нужный смысл не может быть выражен» (Д. Э. Розенталь. Справочник по русскому языку. Пунктуация. § 7).

Падеж определяется не по окончанию, а по вопросу, задаваемому от управляющего слова: выбросить (кого или что?) кота, карандаш — винительный падеж, нет (кого или чего?) кота, карандаша — родительный падеж. 

Определение при существительном, зависящем от числительных два, три, четыре, имеет некоторые особенности употребления (см. «Справочник по правописанию, произношению, литературному редактированию»). Если такое определение (обычно обособленное) стоит после счетного оборота, то чаще оно ставится в форме именительного падежа множественного числа, например: Направо от двери были два окна, завешенные платками (Л. Толстой); Последние два письма, писанные карандашом, меня испугали (Чехов); ...Два огромных осмоленных корыта, привалившиеся друг на друга... торчащие у самого выхода в открытую воду (Федин); Подкатили к колхозному амбару два грузовика, груженные мукой (Ю. Лаптев). Исходя из этого, верно: У него два документа, удостоверяющие его личность. Впрочем, вариант с формой родительного падежа множественного числа (два документа, удостоверяющих его личность) также не является ошибочным. Судя по корпусным данным, подобные сочетания употребляются в текстах в три раза реже, чем сочетания с именительным падежом множественного числа.