王徽之生性“卓荦不羁”，生活上“不修边幅”，即使是做了官，也是“蓬首散带”，“不综府事”。桓冲曾劝告他，为官要整衣理冠，应当努力认真严肃地处理公务。他对桓温的话根本不予理睬，照样“直眼高视”，整天用手板拄着自己的面颊，东游西逛。由于王徽之“其性放诞”，受不了朝中的各种规矩的束缚，在任黄门侍郎一职不久，便“弃官东归”，退居山阴。王徽之生性酷爱竹，尝曰：“何可一日无此君邪！”

雪夜访戴逵：他弃官后退居江宁山阴村。亲手在房子周围栽满了竹子，并且每天在竹林之下，吹啸咏竹。之退隐会稽山阴之时的一天夜晚，忽然下起了大雪，王徽之一觉醒来，已是子夜时分。他便命仆人打开窗户，拿些酒来，一边喝酒，一边眺望远处。只见白茫茫一片，王徽之心中有些彷徨，于是口中念起了左思的《招隐》诗，念着念着，忽然又想起了剡溪的好朋友，当时的一代名贤戴逵，并决定去拜望他。戴逵就是戴安道，《晋书。戴逵传》中说他“少博学，好谈论，善属文，能鼓琴，工书画，其余巧艺靡不毕终”，“性不乐当世，常以琴书自娱”，后徙居会稽剡县(今天浙江嵊州市)。山阴与嵊县相隔百余里，王徽之乘着酒兴，不顾天寒和路途遥远，连夜乘船溯江而上，船行百余里，到第二天中午才来到戴逵的家门口，他正准备敲戴逵家的门时，突然停住了。此时的王徽之不但没进门去拜访戴逵，而且吩咐仆人掉转船头回到了家中。有人问王徽之，你不辞辛苦远道而来拜访朋友，为什么到了朋友家的门前，又不进而返呢？王徽之坦然回答道：“我本是乘酒兴正浓之时而来，现在酒兴已消失殆尽了，那么见到戴逵又有什么意思呢？”这就是王徽之雪夜访戴逵的佳话。

兄弟情深：在众兄弟之间，王徽之与弟弟王献之的感情最深。后来，王献之身患重病，一病不起，不久先于哥哥徽之离开了人世。王徽之的家人怕他接受不了这个令人痛心的消息，就没有把王献之病死的事告诉他。可王徽之时时刻刻都在惦念着病中的弟弟，而今多日没有得到弟弟的消息，便问家人：“子敬的病怎么样了？为什么好久都没有他的消息？是不是出什么事了？”家中的人总是支支吾吾，王徽之从家人的表情便明白了事情的真相，随即便泣不成声。王徽之还自言自语道：“看来子敬已经先我而去了！”王徽之来到了王献之的家，在王献之的灵床上坐了下来。便要献之的家人把子敬的琴拿来给他。就这样王徽之坐在灵床上一边弹琴，一边回忆着兄弟两人的深情厚谊。他越想越痛心，弹了几次都难以成曲，于是高举起手中的琴向地上掷去，琴被摔碎了。他长叹道：“子敬呀！子敬呀！如今人琴俱亡啊！”过了大约个把月，王徽之随着弟弟也驾鹤西去了。