提起林徽因，现在的文艺青年基本跟当年的徐志摩一样，很容易犯主观主义错误，将林视作天上仙子，美貌与智慧并存，温柔与善良齐备——林固然才华横溢，却孤傲强势，与梁家交好的李健吾先生甚至直言：林并非人人怜爱的社会宠儿，几乎妇女全把她当作仇敌。
学者陈学勇先生曾这样评价林徽因：林绝顶聪明，过从皆知识界精英，如政治学家张奚若、经济学家陈岱孙、哲学家金岳霖、物理学家周培源，无不是他们各自学术领域里的泰斗人物，就不必说胡适、沈从文、叶公超、朱光潜……毋庸讳言，女性鲜有此辈，才情多远远逊于林徽因。她们既不能和林徽因在同一层面对话，林徽因又不知作谦和状和她们敷衍、周旋，那么同性们的误解、生分乃至嫉妒、怨怼，可想而知了。
女人太有才，也许并非幸事，尤其是出身在大家族里的名媛。
林徽因生于光绪三十年(1904年)六月，原籍福建闽县（今福州），祖父林孝恂曾与康有为一起中举，官至翰林院编修，为大清编写官方历史教材，后任浙江知县，属于厅局级干部，即使抽几口大烟，也是“金陵九五至尊”级。得孙女后，林老爷子从《诗经》“思齐大任，文王之母。思媚周姜，京室之妇。大姒嗣徽音，则百斯男。”择取“徽音”二字相赠孙，意寓美誉、美德，有好的品性，多子多福。林徽因成年后非常珍惜自己的名声，适时有个纯爷们笔名“林徽音”，四处“琼瑶体”小说，林深为气恼，遂改名“徽因”以别。
祖父辞官后定居杭州，但一直关心福建老家晚辈的教育，投资兴办学堂。林家出了不少人物，如黄花岗七十二烈士中的林觉民、林尹民哥俩，以及光复福建的林肇民，均是林徽因的堂叔。
而林徽因的爸爸林长民更是才华横溢，早年留学于日本早稻田大学（与陆小曼的父亲一样），与立宪派梁启超、实业派张謇、革命派宋教仁均交情匪浅，北洋时代立志于“宪政救国”，曾担任过三个多月司法总长，与财政总长梁启超并称“宪政双杰”。一战结束“巴黎和会”那阵子，日本想霸青岛。林长民先获悉，义愤填膺，写了篇《外交警报敬告国民》于五月二日的北京《晨报》，疾呼“胶州亡矣！山东亡矣！国不国矣！”号召：“国亡无日，愿合我四万万众誓死图之！”引起北大学子盛怒，两天后，“五四”运动爆，当时的大总统徐世昌被林长民煽风点火弄得头大如斗，日本大使严重抗议，要罢林长民的官。徐世昌无奈，后打林去欧洲参与“国联”事宜，明升暗降。
老爸意气风的时候，林徽因却度过了并不愉快的童年。