Вы следует писать с большой буквы, если это личное письмо и автор хочет подчеркнуть уважительное обращение: Иван Сергеевич, милый друг, зачем мы с Вами ели эти подозрительные грибы? Если это фрагмент из художественного текста, необходима строчная буква.
Возможна постановка интонационно-логического тире.
При адресовании письма одному лицу уместно написание с прописной буквы, при адресовании нескольким лицам - со строчной.