而谢仲直又得自彭翁，彭翁得自武夷君。武夷君可能就是白玉蟾。袁桷又说：“至荆州袁溉道洁始受于薛翁，而易复传。袁乃授永嘉薛季宣……最后朱文公属其友蔡季通如荆州复入峡，始得其三图焉。……其孙抗秘不复出。……今彭翁所图疑出蔡氏。”依袁桷说，易三图的流传大致为：薛翁，袁溉，薛季宣……蜀之隐者，蔡季通，蔡抗……武夷君，彭翁，谢仲直，吴蟾。
那么蔡元定从四川访得的三图是什么样子？或者说谢仲直的“易三图”是什么样子？今天已经看不到了，袁桷当时就没有说明。胡渭推测：“故首着之季通所得三图，一为先天太极图无疑矣。其二盖九宫图与五行生成图。”
明代初年赵撝谦在《六书本义》中载有这张图，并说：“此图世传蔡元定得之于蜀之隐者，秘而不传，虽朱子亦莫之见，今得之陈伯敷氏。”当时大多数人都相信这种说法，只有季彭山表示怀疑，他说：“朱子与蔡氏无书不讲明，岂有秘不与言之理？”。胡渭不仅赞同袁桷的说法，而且赞同朱震的说法，认为陈抟以先天图授种放，三传至邵雍，邵雍的“先天古易者，悉本此图可知也。”断定此图出自陈抟，源自《参同契》。
有人认为说阴阳鱼太极图源于《周易参同契》“水火匡廓图”或“三五至精图”，也是值得分析的。后两图传为五代彭晓为诠释《周易参同契》而画的图，而经查《正统道藏》，彭晓《周易参同契分章通真义》中并没有这两幅图，而只有一幅“明镜图”。退一步说即使彭晓作过这两幅图甚至哪怕《参同契》中就有这两幅图，也不能断定它就是太极图的源头，其道理同上述一样，从这两幅图的图形上看不出可以推衍出太极图的痕迹，但却有思想渊源关系。《参同契》首章说：“坎离匡廓，运毂正轴。”特别强调坎离，坎离为日月、日月为“易”。坎为阴中有阳，离为阳中有阴。“水火匡廓图”正是对坎离二卦的形象表示。这种阴阳相合，阴中有阳、阳中有阴、阴阳消长流变的思想不正是太极图的基本思想吗？
思想上的渊源关系并不等同于图形上的渊源关系。看来要考察太极图源自于什么图是很困难的事。我们还是来考证一下最早的太极图是何人所作这个问题吧。
首先要给太极图的图形定一个标准，真正的太极图应当是内为阴阳鱼互纠图案、外为八卦或六十四卦环形图案。至于陈抟所传的“龙图”、“先天图”是不是这种图形，已无法考证。因而难以判断陈抟就是作此图的第一人。薛翁、蜀之隐者是否作此图，同样无考。检索现存文献资料，发现最早的一张太极图在南宋张行成的《翼玄》中。
张行成，生卒年不详，约生活于公元十二世纪，绍兴进士，乾道二年向皇上进呈易学七书，其中《翼玄》即载有此图。