Допустимо: выпить чая, выпить чаю, выпить (весь) чай. Вариант выпить чаю более употребим в разговорной речи.
Правильно: выпить (все) молоко и выпить (немного, много, мало...) молока.
Винительный падеж обозначает полный охват объекта действием, определенное количество, а родительный падеж - распространение действия на часть объекта.
Возможны оба варианта: выпить чаю, прибавьте мне салату (в разговорной речи) и выпить чая, прибавьте мне салата (стилистически нейтральный, общеупотребительный вариант).
Если речь идет обо всем имеющемся пиве, то верно: выпить пиво. Если речь идет о неопределенном количестве, то верно: выпить пива.
Запятая не нужна.