Se encuadra dentro de la optimización matemática, es decir, maximizar o minimizar una función, dadas unas condiciones iniciales, para obtener unos resultados lo más aproximados posibles a las soluciones reales. El objetivo de este método es encontrar la función que mejor se ajuste a unos datos dados. La idea es: supongamos (x1, y1), (x2, y2), …, (xn, yn) parejas de datos de observaciones de las variables X e Y. Supongamos que entre estas variables existe una relación, que definimos por la función f, de tal manera que f(xi) = yi para i = 1, 2, …,n. El método de mínimos cuadrados pretende encontrar la función que haga mínimos lo errores que se definen como la diferencia entre el valor real de la variable Y y su estimación por medio de f. Dichos errores se definen entonces como ei = yi – f(xi), por tanto, se trata de que la suma de estos errores sea la menor posible. ¿Por qué se le llama método de mínimos cuadrados? Porque elevando al cuadrado se elimina la posibilidad de que se contrarresten los errores positivos con los negativos y, además, se permite despreciar los errores más pequeños debidos, quizás, a las imprecisiones en la toma de datos (es sabido que al elevar al cuadrado los números comprendidos entre -1 y 1, el resultado es menor que número inicial).
En definitiva, el método pretende minimizar la función,
lo cual es equivalente a minimizar la función
(es decir, derivar e igualar a cero para conseguir los puntos críticos de la función, derivar por segunda vez y comprobar si esos puntos críticos son mayores que cero).
La dificultad de este método estriba en cómo de “mala” sea la función f en cuanto a su complejidad. El caso más sencillo sería en el que dicha función sea una recta del tipo Y = a + bX, donde a y b se obtienen a partir de los n datos bidimencionales (x1, y1), (x2, y2), …, (xn, yn).
Derivando, como comenté antes, se llega a las expresiones
llamadas `ecuaciones normales´, de donde se despejan a y b, que toman la forma
siendo
, 
, 
, 
,
la covarianza de X e Y, la varianza y la media de X y la media de la variable Y. La recta que surge de estos datos se denomina `recta de regresión´.
Es decir, partiendo de n datos iniciales, la recta de regresión (la forma más sencilla del método de mínimos cuadrados), nos ayuda a calcular el posible valor de una variable a partir del valor conocido de otra.
Este método es ampliamente utilizado en estadística, en particular, en inferencia estadística, que trata de sacar conclusiones generales de una población a estudio a partir de una muestra representativa de ésta. La inferencia se basa pues, en lo que se denominan `estimadores´ que son funciones de la muestra considerada. Como conclusión de esta parte final, cabe resaltar la existencia de un resultado llamado Teorema de Gauss-Markov que afirma que, muy sucíntamente, según determinadas hipótesis (complicadas y casi tediosas para lo que pretendo mostrar), el estimador obtenido por el método de mínimos cuadrados es óptimo, es decir, esa función de la muestra es la mejor, la más eficiente, de ahí la importancia del estudio de los estimadores y de este método tan intuitivo que Gauss desarrolló y nos dejó para la posteridad.
