朱熹如是说，但到了清代，学者黄宗羲、胡渭等对宋儒“河图”、“洛书”说均提出反对意见。此后，“河图”、“洛书”就成了学术界一个长期争论不休的千载难解之谜。“河图”、“洛书”觅迹《论语》、《竹书纪年》、《礼记》、《管子》等文学作品都对河图洛书有记述，后世关于河图洛书的记载、研究文献更是不可胜数。事实上，千百年来，尽管对中国古代两幅神秘图案的研究成果汗牛充栋，但因没有文字注解，至今仍未形成一个被学术界公认的权威解释。“河图洛书”图式反映出中国人对数字的崇拜和时空观念数字是人类最初从动物界分离出来而成为人的重要标志之一。数字的出现使人类意识到自己的智慧和聪明，并为进一步开发智慧奠定了基础。古希腊毕达哥拉斯学派的思想家菲洛劳斯曾说过一段着名的话：“庞大、万能和完美无缺是数字的力量所在，它是人类生活的开始和主宰者，是一切事物的参与者。没有数字，一切都是混乱和黑暗的。”因此，远古时期的人类一开始就非常崇拜数字，这是世界上各个民族在文化启蒙之初的共同特征。中国古代先民对数字的崇拜具有丰富的文化内容，在这个问题上可以说表现了远古时期的先民所具有的天文、地理、人伦、哲学、艺术、原始宗教、日常生活等方方面面的知识。我们从宋人对上古图书“河图洛书”的图式理解，便不难理解这一点。中国古代先民的数字崇拜，主要表现在对一至十这十个基本数字的崇拜，以及对十以后的由基本数字生发出来的一些数字的崇拜。十以后的某些数字如由二、二、三相乘产生的十二，由二、三、四相乘产生的二十四，四七产生的二十八，六六产生的三十六，七七产生的四十九，八八产生的六十四，九九产生的八十一，由十产生的百、千、万等。在古代中国人的文化观念中，一至十这十个基本数字都不单是数学意义的数字，它们还具有美学意义、祥瑞意义、世界观及宇宙观意义等，每个基本数字都是完美数、吉利数、理想数、大智慧数，细说起来都含义无穷。“河图”、“洛书”与八卦之起源千百年来，人们总是把“河图”、“洛书”与伏羲、八卦以及《周易》联系在一起，朱熹更是把河图洛书置于易学着作卷首，大加推崇。中国古代的学者大多认为是伏羲受河图启发而创立八卦，《周易》又源于八卦。从实证的角度确定河图洛书出在某个具体地点，很难找出严格的科学依据。认定它产生于河洛地区，并把河洛地区的适当地点确定为它产生的具体位置，以此作为考察和纪念的依托，这种做法是可行的。同时要清醒地认识到，这样的地点不是严格的历史意义上的“出处”，而是假设的文化意义上的“出处”。
相传，上古伏羲氏时，洛阳东北孟津县境内的黄河中浮出龙马，背负“河图“，献给伏羲。伏羲依此而演成八卦，后为《周易》来源。
又相传，大禹时，洛阳西洛宁县洛河中浮出神龟，背驮“洛书“，献给大禹。大禹依此治水成功，遂划天下为九州。又依此定九章大法，治理社会，流传下来收入《尚书》中，名《洪范》。《易·系辞上》说：“河出图，洛出书，圣人则之“，在后世一些学者的理解中，就是指这两件事。
河图洛书所表达的是一种数学思想。只要细加分析便知，数字性和对称性是河图洛书最直接、最基本的特点，“和”或“差”的数理关系则是它的基本内涵。完全可以用数学方法证明或推导出河图、洛书，并证明河图与洛书同出一源。还可以发现，河图、洛书与算盘”和“万字符”存在着一定程度的联系。河图、洛书是以黑点或白点为基本要素，以一定方式构成若干不同组合，并整体上排列成矩阵的两幅图式，如图所示。
河图、洛书最有名的出处来自于《易传·系辞》中的“河出图，洛出书，圣人则之”这句话，并据此认为八卦就是根据这二幅图推演而来的，从而成为易学研究的重要课题之一。由于历代皆认为它们是“龙马负之于身，神龟列之于背”，所以多少世纪以来，它一直披着神秘的外衣，公认为是中华文化之源的千古之谜。当审视、梳理河图、洛书的历史踪迹之后，我们会发现这样一些共识：——河图、洛书在先秦、西汉的典籍中有其文字记载。《尚书·顾命》说“大玉，夷玉，天球，河图在东序”；《论语·子罕》称“子曰：凤鸟不至，河不出图，吾已矣夫！”；《管子·小臣》讲：“昔人之受命者，龙龟假，河出图，洛出书，地出乘黄，今三祥未见有者。”以后，在汉代刘歆、孔安国、扬雄、班固等人的着作中也屡有提及。至于河图、洛书到底是个什么样子，各书上都没有明言。——河图、洛书在宋代初年才被发现。它们始传于宋代华山道士陈抟，他提出的图式叫作《龙图易》，《宋文鉴》中载有《龙图序》一文，讲到了龙图三变的说法，即一变为天地未合之数，二变为天地已合之数，三变为龙马负图之形，最后形成了河图、洛书二个图式。但是，陈抟在龙图三变之后，没有提到河图、洛书的名称。第一次给这两幅图命名的是北宋易学家刘牧，他精研陈抟所传《龙图易》，着书《易数钩隐图》，于是，河图洛书才为世人所知。当时，对采用“图十书九”，还是“图九书十”有过争论，最终定位于图十书九，一直延续至今。宋代的象数学家相信八卦就是由河图、洛书这二幅图式推演而来，从而，易学史上形成了用河图、洛书解释八卦起源的图书派。
洛书与汉初着作《大戴礼记》中记载的明堂九室，西汉未年着作《乾凿度》中的九宫说，在9个数的方位配置上完全一致。明堂大约在原始社会末期出现，是中国古代社会生活中具有礼义兼祭祀作用的建筑物，深受历代统治者的重视。总之，从现存的有关史料来看，河图、洛书的来源古老悠久，扑朔迷离，没有一个明确可靠的答案。
河图上排列成数阵的黑点和白点，蕴藏着无穷的奥秘；洛书上，纵、横、斜三条线上的三个数字，其和皆等于15，十分奇妙。对此，中外学者作了长期的探索研究，认为这是中国先民心灵思维的结晶，是中国古代文明的第一个里程碑。