传说虞舜时，舜习尧礼，沉璧于洛水，水中有赤光忽起，有龟负图书而出。接着一卷甲黄龙，舒图书于云畔，将赤文篆字以授舜。这就是传说的“黄龙负书“。
传说禹时，禹治水来到洛河，见神龟负文，列于背，有数自一至九，禹遂因而第之，以成九畴。《册府元龟*帝王部》也说“夏禹即天子位，雒出龟书，六十五字，是为洪范，此所谓雒出书者也“。这是说，大禹因治水有功，有德于天下，故万民称颂，上天赐瑞。洛河出神龟，龟长一点二尺，龟背上有六十五个赤文篆字。有的说，此即《尚书》里的《洪范》篇，是治理国家的九种大法。
唐代诗人李矫在《咏洛》诗中有:“神龟方锡瑞，绿字重来臻“之句，一歌颂洛龟负书给中国带来了光明。龟书，可能就是我们现在所说的“甲骨文“。
以上这些是后世附会的故事传说，河图洛书的真实由来，是中华文明史上的千古之谜。
《易经·系辞上》说:“河出图，洛出书，圣人则之。“西汉经学家孔安国解释说:“河图者，伏羲氏王天下，龙马出河，遂则其文，以画八卦。“孔安国还对龙马负图而出作了如亲临其境般的描述，说龙马为天地间的精灵，它的外形非常奇特，在马身上长有龙鳞，故称龙马。这匹龙马赤文绿色，高八尺五寸，似骆而有翅，踏水不没。伏羲在位，“龙马出于孟河“，所谓孟河就是黄河孟津段。
据记载，这匹龙马的旋有次序，形数有异别。排列是一、六在后，二、七在前，三、八在左，四、九在右，五、十背中，这就是河图。
河图中的点数是五十五，其中一、三、五、七、九是天数，二、四、六、八、十是地数，天数累加是二十五，地数累加为三十，两数之和为五十五。河图中的天数是奇，是阳;地数是偶，是阴，阴阳相索。据古代哲学家的解释，河图中上、下、左、右、中五组数目分别与火、水、木、金、土五行有关。金、木、水、火、土这几种物质基本形态的生成与转换，甚至万物发育都可以从这图上得到启示。由此定义这十个自然数中一、二、三、四、五为生数，六、七、八、九、十为成数。从而得出五行相生之理，天地生成之道。
伏羲氏创造的八卦是从河图演变而来的。据文献记载，伏羲，又称太昊，是三皇之一。其母为华胥，在雷泽踩着了天神足迹，于是怀孕生下伏羲。伏羲有圣德，故代燧人氏而做了天下之王。也许他的圣德感动了天神，龙马负图出于河，将河图献给伏羲。
除了伏羲氏时代外，传说这匹龙马还有另外几次负图而出。轩辕黄帝时，帝尧时，这种神迹都出现过。
河图究竟是什么含义，他与八卦及文字究竟是什么关系，这些都是历代争论的话题。但相比而言，河图来历更是千古之谜。