Формы на -у, -ю вещественных и некоторых других существительных (рюмка коньяку, чашка чаю, килограмм сахару) имеют количественное значение, обозначают часть целого. Ср. без количественного значения: производство коньяка, белизна сахара, вкус чая. Раньше формы на -у, -ю считались предпочтительнее, если речь шла о части целого. В наши дни такие формы употребляются всё реже и происходит выравнивание по основной модели, не связанной с определенным значением. Сейчас наряду с формой чашка чаю вполне допустима (а многими даже предпочитается) форма чашка чая. Формы на -у, -ю обычно сохраняются в словосочетании, где существительное зависит от глагола: выпить чаю, поесть супу, добавить сахару. При этом сочетания выпить чая и выпить чай тоже возможны.
Запятая ставится.
Для начала нужно прочитать учебник.
Это синонимы. Корректны оба варианта.