但到底地位崇高，历任上杉家主都在朝中担任要职，虽无固定世袭一说，但大多还是按照惯例继承上一任家主的职位。
上杉家大多出任大纳言，橘家大多出任关白与太政大臣，源家则是在这方面超然物外，因为天皇就是他们一脉，而被称作上三家中第四家的安倍家则大多出任执掌天下祭祀以及日月占星的大理寺令。
我的祖父受到族中长老的喜爱，因此他得以压下橘氏不仅继任来自曾祖的大纳言职位，也继任了原本属于橘氏的关白与太政大臣。
连任数职让我的祖父在朝中与民间的声望快速传播，原本有些宽敞的上杉府邸就显得有些不符合我祖父的身份地位了。
于是仁孝天皇准备另寻一处赏赐给我的祖父，但我的祖父说祖地不宜变迁，于是仁孝天皇改口将上杉府邸周围的地赏赐给我的祖父，好让我的祖父扩建上杉府邸。
当时的上杉府邸在贵族中算是较大的，这次扩建后更是只比皇宫略小，当时朝中的人议论纷纷，认为仁孝天皇赏赐过大，但仁孝天皇并不在意，蛇岐八家之间并不存在这样的争议。
在我的祖父继任后的第二年，仁孝天皇宾天，随后其子统仁继位，称孝明天皇。
元治二年的天保正月初一在大兴土木五年后，上杉府邸扩建完成。
在上杉府邸扩建完成过后的三个月，我的曾祖于月见殿与世长辞。
据我的祖父描述:
“那时他坐在门外的走廊，静静地观望庭院的樱花与我闲话家常，忽然就不说话了。
当时我心中一颤，但还是镇定的继续与他说话，小时候都是他说我听，不过这次变成了我说他听，从早上说到快响午，将心中所有想对他说却又不敢说的话都说尽了，再也说不出其他话后，我才想他真的离去了。
很突然也很平静，就在那个晴朗的吹拂和风的春日他离去了，抛下了我，没有等待我就独自走上了彼岸的道路，他向来如此，小时候我走在路上跌倒了他也不会去扶我，只会自顾自的往前走。
而我哭累了，也就站起来，继续朝他跑去，现在想来也是奇怪，我虽不记得哭了多久，但想来应该是挺久的，我认为他早就到家了，可我只是跑了三个街道就追上了他。
我站起来，缓缓地走到他的面前，牵上他苍老的手，只觉得太冰，是了，他又抛下了我，没有等待我便独自走了，不过这次的距离我需要好久才能追上，他大概也要好久才能等到我跑到他身边。”