El cambio al siglo XVI trajo dos grandes personajes: Galileo Galilei, quien liberó la ciencia de las ataduras de la escolástica y dio a las matemáticas su lugar moderno, y René Descartes, quien inauguró el pensamiento autónomo frente a la fe e inició una unión entre las dos ramas principales de las matemáticas en aquel tiempo, es decir, la geometría y el álgebra. Esta unión se conoce hoy como geometría analítica y consiste en el uso de coordenadas en el plano y el espacio y en la representación de objetos geométricos mediante ecuaciones. La geometría analítica tuvo mucho impacto tanto para la geometría como para el álgebra.
En 1770, aparece el libro Instrucciones completas para el álgebra de Leonhard Euler, que reúne la aritmética y la teoría de ecuaciones, y está escrito con tanta claridad que fue reeditado múltiples veces. En él, ya aparecen los números imaginarios, pero no fue sino hasta unos veinte años después que el concepto de números complejos, finalmente, se formalizó.
Más o menos al mismo tiempo, aparece la primera demostración rigurosa del teorema fundamental del álgebra que afirma que cualquier ecuación algebraica de grado positivo con coeficientes racionales tiene, al menos, una solución compleja. Es importante resaltar que el teorema sólo afirma la existencia en abstracto sin dar ninguna solución concreta, es decir, el resultado asegura que hay al menos una solución, pero no ayuda a encontrarla. Por ello, la búsqueda de fórmulas para las soluciones cobra aún más importancia.
No obstante que las ecuaciones lineales, cuadráticas, cúbicas y cuárticas podían resolverse con fórmulas, para la ecuación de quinto grado no se conocía ninguna fórmula. Fue un joven sueco, Niels Henrik Abel, quien demostró que dicha empresa es imposible. Vale la pena enfatizar que el teorema fundamental del álgebra afirma que las soluciones existen, mientras que el resultado de Abel implica que dichas soluciones no se pueden encontrar con una fórmula usando sólo las operaciones básicas y raíces, como se mencionó en la sección 4.9.
Sin embargo, la demostración es técnica y hoy se suele usar la teoría de Galois, llamada así por otro joven, el francés Evariste Galois, quien vislumbró una teoría completa para tratar en general la problemática de resolución de ecuaciones algebraicas. Llegamos a un parteaguas en la historia: aunque lo que demuestra la teoría de Galois no es novedoso —Abel ya lo había demostrado unos años antes—, dicha teoría es la que desató realmente el álgebra en su versión moderna.
