从实证的角度确定河图洛书出在某个具体地点，很难找出严格的科学依据。认定它产生于河洛地区，并把河洛地区的适当地点确定为它产生的具体位置，以此作为考察和纪念的依托，这种做法是可行的。同时要清醒地认识到，这样的地点不是严格的历史意义上的“出处“，而是假设的文化意义上的“出处“。
相传，上古伏羲氏时，洛阳东北孟津县境内的黄河中浮出龙马，背负“河图“，献给伏羲。伏羲依此而演成八卦，后为《周易》来源。
又相传，大禹时，洛阳西洛宁县洛河中浮出神龟，背驮“洛书“，献给大禹。大禹依此治水成功，遂划天下为九州。又依此定九章大法，治理社会，流传下来收入《尚书》中，名《洪范》。《易·系辞上》说:“河出图，洛出书，圣人则之“，在后世一些学者的理解中，就是指这两件事。
河图洛书所表达的是一种数学思想。只要细加分析便知，数字性和对称性是河图洛书最直接、最基本的特点，“和“或“差“的数理关系则是它的基本内涵。完全可以用数学方法证明或推导出河图、洛书，并证明河图与洛书同出一源。还可以发现，河图、洛书与算盘“和“万字符“存在着一定程度的联系。
河图、洛书是以黑点或白点为基本要素，以一定方式构成若干不同组合，并整体上排列成矩阵的两幅图式，如图所示。
河图、洛书最有名的出处来自于《易传·系辞》中的“河出图，洛出书，圣人则之“这句话，并据此认为八卦就是根据这二幅图推演而来的，从而成为易学研究的重要课题之一。由于历代皆认为它们是“龙马负之于身，神龟列之于背“，所以多少世纪以来，它一直披着神秘的外衣，公认为是中华文化之源的千古之谜。
河图、洛书在先秦、西汉的典籍中有其文字记载。《尚书·顾命》说“大玉，夷玉，天球，河图在东序“《论语·子罕》称“子曰:凤鸟不至，河不出图，吾已矣夫!“《管子·小臣》讲:“昔人之受命者，龙龟假，河出图，洛出书，地出乘黄，今三祥未见有者。“以后，在汉代刘歆、孔安国、扬雄、班固等人的着作中也屡有提及。
至于河图、洛书到底是个什么样子，各书上都没有明言。
河图、洛书在宋代初年才被发现。它们始传于宋代华山道士陈抟，他提出的图式叫作《龙图易》，《宋文鉴》中载有《龙图序》一文，讲到了龙图三变的说法，即一变为天地未合之数，二变为天地已合之数，三变为龙马负图之形，最后形成了河图、洛书二个图式。但是，陈抟在龙图三变之后，没有提到河图、洛书的名称。第一次给这两幅图命名的是北宋易学家刘牧，他精研陈抟所传《龙图易》，着书《易数钩隐图》，于是，河图洛书才为世人所知。