《宋书·符瑞志》:“汤东至洛，观尧坛，有黑龟，并赤文成字。“
然河图、洛书究为何物，宋以前古籍文献一直未载，至宋陈抟始将失佚两千多年的河图、洛书及先天图、太极图传于后世。对此历代均有争议。围绕其来源，后世还有以下观点:来源于道家炼丹养生术。来源于对天河即银河星象的观测。来源于对古气候、方位的观测。来源于北斗斗柄指向及由此而产生的古代历法。洛书起源彗星的气体尾巴轨迹。河图数导源于《周易·系辞》“天地之数“，洛书亦导源于《周易》，以上诸说尚属一家之言，均未得到公认。
相传在伏羲氏时，伏羲氏教民“结绳为网以渔“，养蓄家畜，促进了生产的发展，改善了人们的生存生活条件。因此，祥瑞迭兴，天授神物。有一种龙背马身的神兽，生有双翼，高八尺五寸，身批龙鳞，凌波踏水，如履平地，背负图点，由黄河进入图河，游弋于图河之中。人们称之为龙马。这就是后人常说的“龙马负图“。伏羲氏见后，依照龙马背上的图点，画出了图样。接着，又有神龟负书从洛水出现。伏羲氏得到这种天赐的用符号表示的图书，遂据以画成了八卦。这就是《易·系辞上篇》记载的，“河出图，洛出书，圣人则之“。即伏羲氏“作八卦，以通神明之德，以类万物之情“。故后人在伏羲氏龙马负图处修建了负图寺。以纪念伏羲氏开拓文明的功绩。
据传在黄帝时，黄帝体察民情，亲自劳动，受到人民的爱戴。同时也感动了天神，于是风调雨顺，五谷丰登，人民安居乐业。一天，天神告诉黄帝说，洛水里有龙图龟书，你如果得到它，将会把天下治理的更好，于是黄帝便带领众头领，巡游于洛水之上。一日，时值大雾，隐约看见一条大鱼被困于河滩上，黄帝非常同情这条大鱼的遭遇，但又想不出什么好的解决方法，便命人杀五牲、祭天帝，并亲自跪下向天帝求助。天帝感动，连下大雨七天七夜，致使洛水暴涨，大鱼得以解救。大鱼走后，黄帝在洛水岸边得到了河图洛书，即《河图视萌篇》，上面用象形文字记载着人类所需的各种知识。这就是传说的“洛书鱼献“。据传，得书的地点在洛阳汉魏故城南，旧伊洛河汇流处。
唐尧时，尧带领众酋长东游于洛水。在太阳偏西时，偶然把玉璧沉入洛水，忽见洛水上光芒四起，有灵龟出而复隐。于是，尧便在洛水边修了一个祭坛，选择吉日良辰郑重其事的将璧玉沉入河底。稍倾，河底便光芒四射，接着又飞起一团云雾，在云雾中有喷气吐水之声。一阵大风过后，云开雾散，风平浪静，水上漂过一个大龟壳，广袤九尺，绿色赤文。壳上平坦处文理清晰，上有列星之分、七政之度，并记录着各代帝王兴亡之数。此后，易理文字便在人间传开。这就是传说的“灵龟“。