殷商时代在中原黄河流域的华夏族聚居区，就有了汉民族共同语的萌芽。历经周、秦、汉及魏晋南北朝的长时间的发展融合和传播，汉民族共同语达到了相当成熟的程度。商朝迁殷(今河南小屯附近)后，由于政治、经济、文化等活动的需要，就有了早期共同语的萌芽。夏商周和春秋时，民族共同语称“雅言”，主要流行于黄河流域。《诗经》的语言就是雅言。孔子讲学用的就是雅言，而不是鲁国方言，我们可以说孔子的推广民族共同语的先驱。
秦朝时推行“书同文”等文化政策，使民族共同语的传播有了政治上的保障。汉代的民族共同语叫“通语”，或“凡语”、“凡通语”、“通名”。西汉扬雄编著的《方言》就是用“通语”来解释各地的方言的，这是我国第一部方言著作。
魏晋南北朝时，以洛阳语音为标准的汉民族共同语从中原传向北方和江左一带。《魏书咸阳王禧传》就有关于北魏孝文帝通令“断胡语”，用正音“的记载。正音就是北魏都城洛阳的语音。南朝的宋齐梁陈都建都于金陵(今南京)，当时的金陵话是洛阳话的沿用。