Правильно: скрепя сердце – против воли, против своих убеждений, мужественно. Скрепя - то же, что скрепив. Оборот, вероятно, связан с движением хватания себя за сердце при сильном седцебиении от волнения, то есть буквально: "скрепить сердце чем-нибудь" . Скрепить в этом выражении имеет внутреннюю форму "сделать крепким".
Это обстоятельство.
Поэтическое произведение Шиллера - ода "К радости".
Я имею сердце – по-русски так не говорят. Правильно: У меня есть сердце.
Может быть, так: сердце птицы работает..?
Оба варианта корректны.
Корректно: сердце бьется вновь, а думал: нет его...
Все приведенные Вами варианты корректны.