Насчёт сочетания а ну словари единодушны: это междометие. Междометия выделяются (или отделяются) запятыми (кроме устойчивых сочетаний А ну тебя, А ну его). По этому правилу сочетание а ну в приведенных примерах нужно отделить запятой: А ну, давай!; А ну, не вертись!; А ну, попробуй сам!
Да, правильно.
Это выражение встречается в литературе. Обычно оно не требует пояснений, потому что ясно из контекста. Вот несколько примеров:
«Здорово, Степка, ― скажу я. ― Дай пять… (Только не жми, а то у меня руки отекли…) [Л. Кассиль. Кондуит и Швамбрания (1928-1931)]
Ну, старик, помиримся. Дай пять. Не хочешь? Ну и черт с тобой! До свиданья. [В. Катаев. Миллион терзаний (1930)]
Парень вынул из глубоких недр кармана руку и протянул мне. Голую, безоружную руку. ― Дай пять! ― мрачно сказал он. Я дал. ― Ты мой любимый артист! [Р. Нахапетов. Влюбленный (1998)]