大约在1800年,高斯(Gauss)提出了高斯消元法并用它解决了天体计算和后来的地球表面测量计算中的最小二乘法问题。(这种涉及测量、求取地球形状或当地精确位置的应用数学分支称为测地学。)虽然高斯由于这个技术成功地消去了线性方程的变量而出名,但早在几世纪中国人的手稿中就出现了解释如何运用“高斯”消去的方法求解带有三个未知量的三方程系统。在当时的几年里,高斯消去法一直被认为是测地学发展的一部分,而不是数学。而高斯- 约当消去法则最初是出现在由Wilhelm Jordan撰写的测地学手册中。许多人把著名的数学家Camille Jordan误认为是“高斯- 约当”消去法中的约当。
初等代数从最简单的一元一次方程开始,初等代数一方面进而讨论二元及三元的一次方程组,另一方面研究二次以上及可以转化为二次的方程组。沿着这两个方向继续发展,代数在讨论任意多个未知数的一次方程组,也叫线性方程组的同时还研究次数更高的一元方程组。发展到这个阶段,就叫做高等代数。高等代数是代数学发展到高级阶段的总称,它包括许多分支。现在大学里开设的高等代数,一般包括两部分:线性代数、多项式代数。