桓玄被桓冲扶养长大，视如己出，疼爱桓玄胜过自己的儿女。他每每看着自己的座位说：“等灵宝长大成人，这个座位还是要交还给他的。”

桓玄长大成人，形貌瑰奇，风神疏朗，俊美风流之态，比他爹桓温当年有过之而无不及，世称“桓南郡”。

但是桓温晚年把朝廷大臣一顿折腾，回想起来，仍然令人心惊胆战，所以大家对于桓玄也是倍加防备。

以致于桓玄早期仕途非常暗淡，23岁时才被授为太子洗马等闲官。即使如此司马王室看着老桓家人还是不顺眼。

一次，琅邪王司马道子举办了一场大型宴会，当时宾客满座。

突然，司马道子借酒装疯，醉醺醺地对众人说：“桓温晚年想造反来着，有没有这回事啊？”这就是说给桓玄听的。

司马道子这突如其来的一声质问，现场人都面面相觑，顿时鸦雀无声，

桓玄也吓得汗流浃背，从坐位上掉了下来，当即拜伏在地，不敢起身。

好在，东晋重臣谢重，还是明事理的，谁说桓温都行，你司马道子可不能说，没有桓温废帝，你爹能坐上皇位吗？能有你们兄弟的今天吗？否定桓温的行为，那就是否定你们的合法性，那不是打自己脸吗？

他赶紧“救场”，站起身回答说：“桓温还是有功绩的，他废昏立明，功过伊尹、霍光，丞相别听那些议论，应当有所识别才是。”

司马道子自己也了吓一跳，这时他才明白自己和桓家是一条绳上的蚂蚱，还是别蹦哒了，赶紧点点头，认可了这个说法，让桓玄起身，把话又拉了回来道：“我也就是问问，没有别的意思。”

但是桓玄可不是那么想的，他心中惴惴不安，对司马道子更是恨得咬牙切齿。

他也曾感叹：“父为九州伯，儿为五湖长！没劲！”于是辞官不做，赋闲在家。

别看桓玄一副与世无争之态，那都是表面现象，他可比他老爹果敢坚毅多了。