Эти прилагательные образованы по конкурирующим словообразовательным моделям. В разных случаях - разные варианты.
"50 граммов лимона" - такую фразу ни разу не встречали. Можно отрезать ломтик лимона, половину лимона, четверть лимона и т. п.; можно использовать лимонную цедру и лимонный сок - тогда, действительно, речь пойдет о граммах. Но Вы действительно правы в том, что если речь идет о части предмета, то существительное, обозначающее этот предмет, будет использоваться в форме единственного числа.