domicile » Fers à souder » Solution des moindres carrés avec explication. Analyse de régression linéaire par paires

Solution des moindres carrés avec explication. Analyse de régression linéaire par paires

Méthode des moindres carrés ( MNK, OLS, moindres carrés ordinaires) - l'une des méthodes de base de l'analyse de régression pour estimer les paramètres inconnus des modèles de régression à partir de données d'échantillon. La méthode est basée sur la minimisation de la somme des carrés des résidus de régression.

Il convient de noter que la méthode des moindres carrés elle-même peut être appelée une méthode pour résoudre un problème dans n'importe quel domaine si la solution consiste en ou satisfait un certain critère de minimisation de la somme des carrés de certaines fonctions des variables inconnues. Par conséquent, la méthode des moindres carrés peut également être utilisée pour une représentation approchée (approximation) d'une fonction donnée par d'autres fonctions (plus simples), lors de la recherche d'un ensemble de quantités qui satisfont des équations ou des restrictions, dont le nombre dépasse le nombre de ces quantités. , etc.

L'essence de la multinationale

Soit un modèle (paramétrique) de dépendance probabiliste (régression) entre la variable (expliquée) y et de nombreux facteurs (variables explicatives) X

où est le vecteur des paramètres inconnus du modèle

- Erreur de modèle aléatoire.

Qu'il y ait également des exemples d'observations des valeurs des variables indiquées. Soit le numéro d'observation (). Viennent ensuite les valeurs des variables dans la -ème observation. Ensuite, pour des valeurs données des paramètres b, il est possible de calculer les valeurs théoriques (modèles) de la variable expliquée y :

La valeur des résidus dépend des valeurs des paramètres b.

L'essence de LSM (ordinaire, classique) est de trouver de tels paramètres b pour lesquels la somme des carrés des résidus (eng. Somme résiduelle des carrés) sera minime :

Dans le cas général, ce problème peut être résolu par des méthodes numériques d'optimisation (minimisation). Dans ce cas, on parle de moindres carrés non linéaires(NLS ou NLLS - anglais. Moindres carrés non linéaires). Dans de nombreux cas, une solution analytique peut être obtenue. Pour résoudre le problème de minimisation, il est nécessaire de trouver les points stationnaires de la fonction en la différenciant par rapport aux paramètres inconnus b, en assimilant les dérivées à zéro et en résolvant le système d'équations résultant :

Si les erreurs aléatoires du modèle sont distribuées normalement, ont la même variance et ne sont pas corrélées les unes aux autres, les estimations des paramètres des moindres carrés sont les mêmes que les estimations de la méthode du maximum de vraisemblance (MLM).

LSM dans le cas d'un modèle linéaire

Soit la dépendance de la régression linéaire :

Laisser y- vecteur colonne des observations de la variable expliquée, et - matrice des observations des facteurs (lignes de la matrice - vecteurs des valeurs des facteurs dans une observation donnée, par colonnes - vecteur des valeurs d'un facteur donné dans toutes les observations) . La représentation matricielle du modèle linéaire a la forme :

Alors le vecteur des estimations de la variable expliquée et le vecteur des résidus de régression seront égaux à

en conséquence, la somme des carrés des résidus de régression sera égale à

En différenciant cette fonction par rapport au vecteur paramètre et en assimilant les dérivées à zéro, on obtient un système d'équations (sous forme matricielle) :

La solution de ce système d'équations donne la formule générale des estimations des moindres carrés pour le modèle linéaire :

À des fins analytiques, la dernière représentation de cette formule s'avère utile. Si les données du modèle de régression centré, alors dans cette représentation la première matrice a la signification d'un échantillon de matrice de covariance de facteurs, et la seconde est le vecteur de covariances de facteurs avec une variable dépendante. Si, en plus, les données sont également normalisé au SKO (c'est-à-dire, finalement standardisé), alors la première matrice a la signification de la matrice de corrélation d'échantillons de facteurs, le second vecteur - le vecteur de corrélations d'échantillons de facteurs avec la variable dépendante.

Une propriété importante des estimations LLS pour les modèles avec une constante- la ligne de régression construite passe par le centre de gravité des données de l'échantillon, c'est-à-dire que l'égalité est satisfaite :

En particulier, dans le cas extrême, lorsque le seul régresseur est une constante, nous constatons que l'estimation MCO d'un seul paramètre (la constante elle-même) est égale à la valeur moyenne de la variable expliquée. Autrement dit, la moyenne arithmétique, connue pour ses bonnes propriétés d'après les lois des grands nombres, est également une estimation des moindres carrés - elle satisfait le critère de la somme minimale des écarts au carré par rapport à celle-ci.

Exemple : régression simple (par paires)

Dans le cas de la régression linéaire appariée, les formules de calcul sont simplifiées (on peut se passer d'algèbre matricielle) :

Propriétés des estimations MCO

Tout d'abord, nous notons que pour les modèles linéaires, les estimations des moindres carrés sont des estimations linéaires, comme il ressort de la formule ci-dessus. Pour les estimateurs des moindres carrés sans biais, il est nécessaire et suffisant que condition essentielle analyse de régression : conditionnellement aux facteurs, l'espérance mathématique d'une erreur aléatoire doit être égale à zéro. Cette condition est satisfaite, notamment, si

l'espérance mathématique des erreurs aléatoires est nulle, et
les facteurs et les erreurs aléatoires sont des variables aléatoires indépendantes.

La deuxième condition - la condition des facteurs exogènes - est fondamentale. Si cette propriété n'est pas satisfaite, nous pouvons supposer que presque toutes les estimations seront extrêmement insatisfaisantes : elles ne seront même pas cohérentes (c'est-à-dire que même une très grande quantité de données ne permet pas d'obtenir des estimations qualitatives dans ce cas). Dans le cas classique, une hypothèse plus forte est faite sur le déterminisme des facteurs, contrairement à une erreur aléatoire, ce qui signifie automatiquement que la condition exogène est satisfaite. Dans le cas général, pour la cohérence des estimations, il suffit de remplir la condition d'exogénéité ainsi que la convergence de la matrice vers une matrice non singulière avec une augmentation de la taille de l'échantillon à l'infini.

Pour que, en plus de la cohérence et de l'impartialité, les estimations des moindres carrés (ordinaires) soient également efficaces (les meilleures de la classe des estimations linéaires sans biais), des propriétés supplémentaires d'une erreur aléatoire doivent être satisfaites :

Ces hypothèses peuvent être formulées pour la matrice de covariance du vecteur d'erreur aléatoire

Un modèle linéaire qui satisfait ces conditions est appelé classique. Les estimations MCO pour la régression linéaire classique sont des estimations non biaisées, cohérentes et les plus efficaces dans la classe de toutes les estimations linéaires non biaisées (dans la littérature anglaise, l'abréviation est parfois utilisée bleu (Meilleur estimateur linéaire non baisé) est la meilleure estimation linéaire sans biais ; dans la littérature nationale, le théorème de Gauss-Markov est plus souvent cité). Comme il est facile de le montrer, la matrice de covariance du vecteur d'estimations des coefficients sera égale à :

Moindres carrés généralisés

La méthode des moindres carrés permet une large généralisation. Au lieu de minimiser la somme des carrés des résidus, on peut minimiser certaines valeurs définies positives forme quadratiqueà partir du vecteur résiduel , où est une matrice de poids définie positive symétrique. Les moindres carrés ordinaires sont un cas particulier de cette approche, lorsque la matrice de poids est proportionnelle à la matrice d'identité. Comme le sait la théorie des matrices symétriques (ou opérateurs), il existe une décomposition pour de telles matrices. Par conséquent, la fonctionnelle spécifiée peut être représentée comme suit, c'est-à-dire que cette fonctionnelle peut être représentée comme la somme des carrés de certains "résidus" transformés. Ainsi, nous pouvons distinguer une classe de méthodes des moindres carrés - les méthodes LS (Least Squares).

Il est prouvé (théorème d'Aitken) que pour un modèle de régression linéaire généralisé (dans lequel aucune restriction n'est imposée sur la matrice de covariance des erreurs aléatoires), les plus efficaces (dans la classe des estimations linéaires sans biais) sont les estimations de ce qu'on appelle. OLS généralisé (OMNK, GLS - Moindres Carrés Généralisés)- Méthode LS avec une matrice de poids égale à la matrice de covariance inverse des erreurs aléatoires : .

On peut montrer que la formule des estimations GLS des paramètres du modèle linéaire a la forme

La matrice de covariance de ces estimations, respectivement, sera égale à

En fait, l'essence de l'OLS réside dans une certaine transformation (linéaire) (P) des données d'origine et l'application des moindres carrés habituels aux données transformées. Le but de cette transformation est que pour les données transformées, les erreurs aléatoires satisfont déjà les hypothèses classiques.

Moindres carrés pondérés

Dans le cas d'une matrice de poids diagonale (et donc de la matrice de covariance des erreurs aléatoires), on a ce qu'on appelle les moindres carrés pondérés (WLS - Weighted Least Squares). Dans ce cas, la somme pondérée des carrés des résidus du modèle est minimisée, c'est-à-dire que chaque observation reçoit un « poids » inversement proportionnel à la variance de l'erreur aléatoire sur cette observation : . En fait, les données sont transformées en pondérant les observations (en divisant par une quantité proportionnelle à l'écart type supposé des erreurs aléatoires), et les moindres carrés normaux sont appliqués aux données pondérées.

Quelques cas particuliers d'application du LSM en pratique

Approximation linéaire

Considérons le cas où, à la suite de l'étude de la dépendance d'une certaine quantité scalaire à une certaine quantité scalaire (Cela peut être, par exemple, la dépendance de la tension à l'intensité du courant: , où est une valeur constante, la résistance du conducteur ), ces quantités ont été mesurées, à la suite desquelles les valeurs et ont été obtenues leurs valeurs correspondantes. Les données de mesure doivent être enregistrées dans un tableau.

Tableau. Résultats de mesure.

N° de mesure
1
2
3
4
5
6

La question est : quelle valeur du coefficient peut-on choisir pour que la meilleure façon décrire la dépendance ? Selon le LSM, cette valeur doit être telle que la somme des écarts au carré des valeurs par rapport aux valeurs

était minime

La somme des écarts au carré a un extremum - un minimum, ce qui nous permet d'utiliser cette formule. Trouvons la valeur du coefficient à partir de cette formule. Pour ce faire, nous transformons son côté gauche comme suit :

La dernière formule nous permet de trouver la valeur du coefficient , qui était requise dans le problème.

Récit

Jusqu'au début du XIXème siècle. les scientifiques n'avaient pas certaines règles pour résoudre un système d'équations dans lequel le nombre d'inconnues est inférieur au nombre d'équations; Jusqu'à cette époque, des méthodes particulières étaient utilisées, selon le type d'équations et l'ingéniosité des calculateurs, et donc différents calculateurs, partant des mêmes données d'observation, arrivaient à des conclusions différentes. Gauss (1795) est crédité de la première application de la méthode, et Legendre (1805) la découvrit et la publia indépendamment sous son nom moderne (fr. Méthode des moindres carrés ). Laplace a lié la méthode à la théorie des probabilités et le mathématicien américain Adrain (1808) a considéré ses applications probabilistes. La méthode est répandue et améliorée par d'autres recherches par Encke, Bessel, Hansen et d'autres.

Utilisation alternative des multinationales

L'idée de la méthode des moindres carrés peut également être utilisée dans d'autres cas non directement liés à l'analyse de régression. Le fait est que la somme des carrés est l'une des mesures de proximité les plus courantes pour les vecteurs (la métrique euclidienne dans les espaces de dimension finie).

Une application est la "résolution" de systèmes d'équations linéaires dans lesquels le nombre d'équations est supérieur au nombre de variables

où la matrice n'est pas carrée, mais rectangulaire.

Un tel système d'équations, dans le cas général, n'a pas de solution (si le rang est effectivement supérieur au nombre de variables). Ce système ne peut donc être "résolu" qu'au sens de choisir un tel vecteur afin de minimiser la "distance" entre les vecteurs et . Pour ce faire, vous pouvez appliquer le critère de minimisation de la somme des différences au carré des parties gauche et droite des équations du système, c'est-à-dire . Il est facile de montrer que la solution de ce problème de minimisation conduit à la solution du système d'équations suivant

La programmation

Didacticiel

introduction

Je suis un programmeur informatique. J'ai fait le plus grand saut dans ma carrière quand j'ai appris à dire : "Je ne comprends rien!" Maintenant, je n'ai pas honte de dire au luminaire de la science qu'il me donne une conférence, que je ne comprends pas de quoi il, le luminaire, me parle. Et c'est très difficile. Oui, il est difficile et embarrassant d'admettre que vous ne savez pas. Qui aime admettre qu'il ne connaît pas les bases de quelque chose-là. De par ma profession, je dois assister en grand nombre présentations et conférences, où, je l'avoue, dans la grande majorité des cas, j'ai envie de dormir, parce que je ne comprends rien. Et je ne comprends pas parce que l'énorme problème de la situation actuelle de la science réside dans les mathématiques. Il suppose que tous les élèves connaissent absolument tous les domaines des mathématiques (ce qui est absurde). Admettre que vous ne savez pas ce qu'est un dérivé (ça c'est un peu plus tard) est dommage.

Mais j'ai appris à dire que je ne sais pas ce qu'est la multiplication. Oui, je ne sais pas ce qu'est une sous-algèbre sur une algèbre de Lie. Oui, je ne sais pas pourquoi tu as besoin dans la vie équations du second degré. Au fait, si vous êtes sûr de le savoir, alors nous avons quelque chose à dire ! Les mathématiques sont une série de trucs. Les mathématiciens essaient de semer la confusion et d'intimider le public ; où il n'y a ni confusion, ni réputation, ni autorité. Oui, c'est prestigieux de parler dans la langue la plus abstraite possible, qui est un non-sens complet en soi.

Savez-vous ce qu'est un dérivé ? Très probablement, vous me parlerez de la limite de la relation de différence. En première année de mathématiques à l'Université d'État de Saint-Pétersbourg, Viktor Petrovich Khavin m'a défini dérivée comme coefficient du premier terme de la série de Taylor de la fonction au point (c'était une gymnastique à part pour déterminer la série de Taylor sans dérivées). J'ai ri longtemps de cette définition, jusqu'à ce que je comprenne enfin de quoi il s'agissait. La dérivée n'est rien de plus qu'une simple mesure de la similarité de la fonction que nous différencions avec la fonction y=x, y=x^2, y=x^3.

J'ai maintenant l'honneur de donner des cours aux étudiants qui peur mathématiques. Si vous avez peur des mathématiques, nous sommes en route. Dès que vous essayez de lire un texte et qu'il vous semble qu'il est trop compliqué, alors sachez qu'il est mal écrit. Je soutiens qu'il n'y a pas un seul domaine des mathématiques dont on ne puisse parler "sur les doigts" sans perdre en précision.

Le défi pour le futur proche : J'ai demandé à mes étudiants de comprendre ce qu'est un contrôleur linéaire-quadratique. Ne soyez pas timide, perdez trois minutes de votre vie, suivez le lien. Si vous ne comprenez rien, nous sommes en route. Moi (un mathématicien-programmeur professionnel) je n'ai rien compris non plus. Et je vous assure que cela peut être réglé "sur les doigts". Pour le moment, je ne sais pas ce que c'est, mais je vous assure que nous pourrons le comprendre.

Donc, la première conférence que je vais donner à mes étudiants après qu'ils aient couru vers moi avec horreur avec les mots qu'un contrôleur linéaire-quadratique est un terrible bug que vous ne maîtriserez jamais de votre vie est méthodes des moindres carrés. Pouvez-vous décider équations linéaires? Si vous lisez ce texte, alors probablement pas.

Ainsi, étant donné deux points (x0, y0), (x1, y1), par exemple (1,1) et (3,2), il s'agit de trouver l'équation d'une droite passant par ces deux points :

illustration

Cette droite doit avoir une équation comme celle-ci :

Ici alpha et beta nous sont inconnus, mais deux points de cette ligne sont connus :

Vous pouvez écrire cette équation sous forme matricielle :

Ici, nous devrions faire une digression lyrique : qu'est-ce qu'une matrice ? Une matrice n'est rien d'autre qu'un tableau à deux dimensions. C'est une façon de stocker des données, plus aucune valeur ne doit lui être donnée. C'est à nous de savoir exactement comment interpréter une certaine matrice. Périodiquement, je l'interpréterai comme une application linéaire, périodiquement comme une forme quadratique, et parfois simplement comme un ensemble de vecteurs. Tout cela sera précisé dans le contexte.

Remplaçons des matrices spécifiques par leur représentation symbolique :

Alors (alpha, beta) peut être facilement trouvé :

Plus spécifiquement pour nos données précédentes :

Ce qui conduit à l'équation suivante d'une droite passant par les points (1,1) et (3,2) :

Bon, tout est clair ici. Et trouvons l'équation d'une droite passant par Trois point : (x0,y0), (x1,y1) et (x2,y2) :

Oh-oh-oh, mais nous avons trois équations à deux inconnues ! Le mathématicien standard dira qu'il n'y a pas de solution. Que dira le programmeur ? Et il va d'abord réécrire le système d'équations précédent sous la forme suivante :

Dans notre cas vecteurs i,j,b sont en trois dimensions, donc (dans le cas général) il n'y a pas de solution à ce système. Tout vecteur (alpha\*i + beta\*j) se trouve dans le plan couvert par les vecteurs (i, j). Si b n'appartient pas à ce plan, alors il n'y a pas de solution (l'égalité dans l'équation ne peut pas être atteinte). Que faire? Cherchons un compromis. Notons par e(alpha, bêta) comment exactement nous n'avons pas atteint l'égalité:

Et nous allons essayer de minimiser cette erreur :

Pourquoi un carré ?

Nous ne cherchons pas seulement le minimum de la norme, mais le minimum du carré de la norme. Pourquoi? Le point minimum lui-même coïncide, et le carré donne une fonction lisse (une fonction quadratique des arguments (alpha,beta)), tandis que la longueur seule donne une fonction en forme de cône, non différentiable au point minimum. Brr. Le carré est plus pratique.

Évidemment, l'erreur est minimisée lorsque le vecteur e orthogonal au plan couvert par les vecteurs je et j.

Illustration

Autrement dit : on cherche une droite telle que la somme des longueurs au carré des distances de tous les points à cette droite soit minimale :

MISE À JOUR : ici, j'ai un jambage, la distance à la ligne doit être mesurée verticalement, pas de projection orthographique. le commentateur a raison.

Illustration

En termes complètement différents (soigneusement, mal formalisés, mais il faut que ce soit clair sur les doigts) : on prend toutes les droites possibles entre toutes les paires de points et on cherche la droite moyenne entre toutes :

Illustration

Une autre explication sur les doigts : nous attachons un ressort entre tous les points de données (ici nous en avons trois) et la ligne que nous recherchons, et la ligne de l'état d'équilibre est exactement ce que nous recherchons.

Minimum de forme quadratique

Donc, étant donné le vecteur b et le plan couvert par les vecteurs-colonnes de la matrice UNE(dans ce cas (x0,x1,x2) et (1,1,1)), on cherche un vecteur e avec un carré de longueur minimum. Évidemment, le minimum n'est réalisable que pour le vecteur e, orthogonal au plan couvert par les vecteurs-colonnes de la matrice UNE:

Autrement dit, on cherche un vecteur x=(alpha, beta) tel que :

Je rappelle que ce vecteur x=(alpha, beta) est le minimum de la fonction quadratique ||e(alpha, beta)||^2 :

Ici, il est utile de rappeler que la matrice peut être interprétée aussi bien que la forme quadratique, par exemple, la matrice identité ((1,0),(0,1)) peut être interprétée comme une fonction de x^2 + y ^2 :

forme quadratique

Toute cette gymnastique est connue sous le nom de régression linéaire.

Équation de Laplace avec condition aux limites de Dirichlet

Maintenant le vrai problème le plus simple : il y a une certaine surface triangulée, il faut la lisser. Par exemple, chargeons mon modèle de visage :

Le commit d'origine est disponible. Pour minimiser les dépendances externes, j'ai repris le code de mon logiciel de rendu, déjà sur Habré. Pour les solutions système linéaire J'utilise OpenNL , c'est un excellent solveur, mais c'est vraiment difficile à installer : vous devez copier deux fichiers (.h+.c) dans votre dossier de projet. Tout le lissage est effectué par le code suivant :

Pour (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&face = faces[i]; pour (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Les coordonnées X, Y et Z sont séparables, je les lisse séparément. Autrement dit, je résous trois systèmes d'équations linéaires, chacun avec autant de variables que le nombre de sommets dans mon modèle. Les n premières lignes de la matrice A n'ont qu'un seul 1 par ligne, et les n premières lignes du vecteur b ont les coordonnées du modèle d'origine. C'est-à-dire que je ressort entre la nouvelle position de sommet et l'ancienne position de sommet - les nouvelles ne doivent pas être trop éloignées des anciennes.

Toutes les lignes suivantes de la matrice A (faces.size()*3 = le nombre d'arêtes de tous les triangles de la grille) ont une occurrence de 1 et une occurrence de -1, tandis que le vecteur b a zéro composante opposée. Cela signifie que je mets un ressort sur chaque arête de notre maillage triangulaire : toutes les arêtes essaient d'obtenir le même sommet que leurs points de départ et d'arrivée.

Encore une fois : tous les sommets sont des variables, et ils ne peuvent pas s'écarter loin de leur position d'origine, mais en même temps ils essaient de se ressembler.

Voici le résultat :

Tout irait bien, le modèle est vraiment lissé, mais il s'est éloigné de son bord d'origine. Modifions un peu le code :

Pour (int i=0; je<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

Dans notre matrice A, pour les sommets qui sont sur l'arête, je rajoute non pas une ligne de la catégorie v_i = verts[i][d], mais 1000*v_i = 1000*verts[i][d]. Qu'est-ce que ça change ? Et cela change notre forme quadratique de l'erreur. Désormais, un seul écart par rapport au sommet au bord ne coûtera pas une unité, comme auparavant, mais 1000 * 1000 unités. Autrement dit, nous avons accroché un ressort plus fort sur les sommets extrêmes, la solution préfère étirer les autres plus fortement. Voici le résultat :

Doublez la force des ressorts entre les sommets :
nlCoefficient(face[ j ], 2); nlCoefficient(visage[(j+1)%3], -2);

Il est logique que la surface soit devenue plus lisse :

Et maintenant encore cent fois plus fort :

Qu'est-ce que c'est ça? Imaginez que nous avons plongé un anneau de fil dans de l'eau savonneuse. En conséquence, le film de savon résultant essaiera d'avoir le moins de courbure possible, touchant la même bordure - notre anneau de fil. C'est exactement ce que nous avons obtenu en fixant la bordure et en demandant une surface lisse à l'intérieur. Félicitations, nous venons de résoudre l'équation de Laplace avec les conditions aux limites de Dirichlet. Cela paraît bien? Mais en fait, un seul système d'équations linéaires à résoudre.

Équation de Poisson

Ayons un autre nom sympa.

Disons que j'ai une image comme celle-ci :

Tout le monde est bon, mais je n'aime pas la chaise.

J'ai coupé l'image en deux :

Et je choisirai une chaise avec mes mains:

Ensuite, je ferai glisser tout ce qui est blanc dans le masque vers le côté gauche de l'image, et en même temps je dirai sur toute l'image que la différence entre deux pixels voisins doit être égale à la différence entre deux pixels voisins du image de droite :

Pour (int i=0; je

Voici le résultat :

Le code et les images sont disponibles

Méthode des moindres carrés

L'essence de la multinationale

Soit un modèle (paramétrique) de dépendance probabiliste (régression) entre la variable (expliquée) y et de nombreux facteurs (variables explicatives) X

où est le vecteur des paramètres inconnus du modèle

- Erreur de modèle aléatoire.

La valeur des résidus dépend des valeurs des paramètres b.

L'essence de LSM (ordinaire, classique) est de trouver de tels paramètres b pour lesquels la somme des carrés des résidus (eng. Somme résiduelle des carrés) sera minime :

LSM dans le cas d'un modèle linéaire

Soit la dépendance de la régression linéaire :

Alors le vecteur des estimations de la variable expliquée et le vecteur des résidus de régression seront égaux à

en conséquence, la somme des carrés des résidus de régression sera égale à

En différenciant cette fonction par rapport au vecteur paramètre et en assimilant les dérivées à zéro, on obtient un système d'équations (sous forme matricielle) :

La solution de ce système d'équations donne la formule générale des estimations des moindres carrés pour le modèle linéaire :

Exemple : régression simple (par paires)

Dans le cas de la régression linéaire appariée, les formules de calcul sont simplifiées (on peut se passer d'algèbre matricielle) :

Propriétés des estimations MCO

Tout d'abord, nous notons que pour les modèles linéaires, les estimations des moindres carrés sont des estimations linéaires, comme il ressort de la formule ci-dessus. Pour les estimations MCO non biaisées, il est nécessaire et suffisant de remplir la condition la plus importante de l'analyse de régression : en fonction des facteurs, l'espérance mathématique d'une erreur aléatoire doit être égale à zéro. Cette condition est satisfaite, notamment, si

l'espérance mathématique des erreurs aléatoires est nulle, et
les facteurs et les erreurs aléatoires sont des variables aléatoires indépendantes.

Ces hypothèses peuvent être formulées pour la matrice de covariance du vecteur d'erreur aléatoire

Moindres carrés généralisés

La méthode des moindres carrés permet une large généralisation. Au lieu de minimiser la somme des carrés des résidus, on peut minimiser une certaine forme quadratique définie positive du vecteur résiduel , où est une matrice de poids définie positive symétrique. Les moindres carrés ordinaires sont un cas particulier de cette approche, lorsque la matrice de poids est proportionnelle à la matrice d'identité. Comme le sait la théorie des matrices symétriques (ou opérateurs), il existe une décomposition pour de telles matrices. Par conséquent, la fonctionnelle spécifiée peut être représentée comme suit, c'est-à-dire que cette fonctionnelle peut être représentée comme la somme des carrés de certains "résidus" transformés. Ainsi, nous pouvons distinguer une classe de méthodes des moindres carrés - les méthodes LS (Least Squares).

On peut montrer que la formule des estimations GLS des paramètres du modèle linéaire a la forme

La matrice de covariance de ces estimations, respectivement, sera égale à

Moindres carrés pondérés

Quelques cas particuliers d'application du LSM en pratique

Approximation linéaire

Tableau. Résultats de mesure.

N° de mesure
1
2
3
4
5
6

La question ressemble à ceci : quelle valeur du coefficient peut-on choisir pour décrire au mieux la dépendance ? Selon les moindres carrés, cette valeur doit être telle que la somme des écarts au carré des valeurs par rapport aux valeurs

était minime

La dernière formule nous permet de trouver la valeur du coefficient , qui était requise dans le problème.

Récit

Utilisation alternative des multinationales

Une application est la "résolution" de systèmes d'équations linéaires dans lesquels le nombre d'équations est supérieur au nombre de variables

où la matrice n'est pas carrée, mais rectangulaire.

Exemple.

Données expérimentales sur les valeurs des variables X et à sont donnés dans le tableau.

Du fait de leur alignement, la fonction

Utilisant méthode des moindres carrés, approximer ces données avec une dépendance linéaire y=ax+b(trouver les paramètres une et b). Découvrez laquelle des deux lignes est la meilleure (au sens de la méthode des moindres carrés) aligne les données expérimentales. Faites un dessin.

L'essence de la méthode des moindres carrés (LSM).

Le problème est de trouver les coefficients de dépendance linéaire pour lesquels la fonction de deux variables une et b prend la plus petite valeur. C'est-à-dire que compte tenu des données une et b la somme des écarts au carré des données expérimentales par rapport à la ligne droite trouvée sera la plus petite. C'est tout l'intérêt de la méthode des moindres carrés.

Ainsi, la solution de l'exemple se réduit à trouver l'extremum d'une fonction de deux variables.

Dérivation de formules pour trouver des coefficients.

Un système de deux équations à deux inconnues est compilé et résolu. Trouver des dérivées partielles de fonctions par variables une et b, on égalise ces dérivées à zéro.

Nous résolvons le système d'équations résultant par n'importe quelle méthode (par exemple méthode de remplacement ou La méthode de Cramer) et obtenir des formules pour trouver les coefficients en utilisant la méthode des moindres carrés (LSM).

Avec des données une et b une fonction prend la plus petite valeur. La preuve de ce fait est donnée sous le texte en fin de page.

C'est toute la méthode des moindres carrés. Formule pour trouver le paramètre une contient les sommes ,,, et le paramètre n- quantité de données expérimentales. Il est recommandé de calculer séparément les valeurs de ces sommes. Coefficient b trouvé après calcul une.

Il est temps de se souvenir de l'exemple original.

Solution.

Dans notre exemple n=5. Nous remplissons le tableau pour faciliter le calcul des montants inclus dans les formules des coefficients requis.

Les valeurs de la quatrième ligne du tableau sont obtenues en multipliant les valeurs de la 2ème ligne par les valeurs de la 3ème ligne pour chaque nombre je.

Les valeurs de la cinquième ligne du tableau sont obtenues en mettant au carré les valeurs de la 2ème ligne pour chaque nombre je.

Les valeurs de la dernière colonne du tableau sont les sommes des valeurs sur les lignes.

On utilise les formules de la méthode des moindres carrés pour trouver les coefficients une et b. Nous y substituons les valeurs correspondantes de la dernière colonne du tableau:

D'où, y=0,165x+2,184 est la droite d'approximation souhaitée.

Reste à savoir laquelle des lignes y=0,165x+2,184 ou mieux se rapprocher des données d'origine, c'est-à-dire faire une estimation en utilisant la méthode des moindres carrés.

Estimation de l'erreur de la méthode des moindres carrés.

Pour ce faire, vous devez calculer les sommes des écarts au carré des données d'origine à partir de ces lignes et , la plus petite valeur correspond à la ligne qui se rapproche le mieux des données d'origine en termes de méthode des moindres carrés.

Puisque , alors la ligne y=0,165x+2,184 se rapproche mieux des données d'origine.

Illustration graphique de la méthode des moindres carrés (LSM).

Tout a l'air bien sur les cartes. La ligne rouge est la ligne trouvée y=0,165x+2,184, la ligne bleue est , les points roses sont les données d'origine.

En pratique, lors de la modélisation de divers processus - en particulier économiques, physiques, techniques, sociaux - ces ou ces méthodes de calcul des valeurs approximatives des fonctions à partir de leurs valeurs connues à certains points fixes sont largement utilisées.

Des problèmes d'approximation de fonctions de ce genre se posent souvent :

lors de la construction de formules approximatives pour calculer les valeurs des quantités caractéristiques du processus à l'étude en fonction des données tabulaires obtenues à la suite de l'expérience;

en intégration numérique, différenciation, résolution d'équations différentielles, etc.;

s'il est nécessaire de calculer les valeurs des fonctions aux points intermédiaires de l'intervalle considéré;

lors de la détermination des valeurs des quantités caractéristiques du processus en dehors de l'intervalle considéré, en particulier lors de la prévision.

Si, pour modéliser un certain processus spécifié par une table, une fonction est construite qui décrit approximativement ce processus basé sur la méthode des moindres carrés, elle sera appelée une fonction d'approximation (régression), et la tâche de construire des fonctions d'approximation elle-même sera être un problème d'approximation.

Cet article traite des possibilités du package MS Excel pour résoudre de tels problèmes. En outre, des méthodes et des techniques de construction (création) de régressions pour des fonctions données sous forme de tableau (qui constituent la base de l'analyse de régression) sont données.

Il existe deux options pour créer des régressions dans Excel.

Ajouter des régressions sélectionnées (lignes de tendance) à un graphique construit sur la base d'un tableau de données pour la caractéristique de processus étudiée (disponible uniquement si un graphique est construit) ;

Utilisation des fonctions statistiques intégrées de la feuille de calcul Excel, qui vous permet d'obtenir des régressions (lignes de tendance) directement à partir du tableau de données source.

Ajout de lignes de tendance à un graphique

Pour un tableau de données décrivant un certain processus et représenté par un diagramme, Excel dispose d'un outil d'analyse de régression efficace qui vous permet de :

construire sur la base de la méthode des moindres carrés et ajouter au schéma cinq types de régressions modélisant avec plus ou moins de précision le processus étudié ;

ajouter une équation de la régression construite au diagramme ;

déterminer le degré de conformité de la régression sélectionnée avec les données affichées sur le graphique.

Sur la base des données du graphique, Excel vous permet d'obtenir des types de régressions linéaires, polynomiales, logarithmiques, exponentielles et exponentielles, qui sont données par l'équation :

y = y(x)

où x est une variable indépendante, qui prend souvent les valeurs d'une suite de nombres naturels (1 ; 2 ; 3 ; ...) et produit, par exemple, un décompte du temps du processus étudié (caractéristiques) .

1 . La régression linéaire est efficace pour modéliser des caractéristiques qui augmentent ou diminuent à un rythme constant. C'est le modèle le plus simple du processus étudié. Il est construit selon l'équation :

y=mx+b

où m est la tangente de la pente de la régression linéaire à l'axe des x ; b - coordonnée du point d'intersection de la régression linéaire avec l'axe y.

2 . Une courbe de tendance polynomiale est utile pour décrire des caractéristiques qui ont plusieurs extrêmes distincts (hauts et bas). Le choix du degré du polynôme est déterminé par le nombre d'extrema de la caractéristique étudiée. Ainsi, un polynôme du second degré peut bien décrire un processus qui n'a qu'un seul maximum ou minimum ; polynôme du troisième degré - pas plus de deux extrema; polynôme du quatrième degré - pas plus de trois extrema, etc.

Dans ce cas, la ligne de tendance est construite conformément à l'équation :

y = c0 + c1x + c2x2 + c3x3 + c4x4 + c5x5 + c6x6

où les coefficients c0, c1, c2,... c6 sont des constantes dont les valeurs sont déterminées lors de la construction.

3 . La ligne de tendance logarithmique est utilisée avec succès dans la modélisation des caractéristiques, dont les valeurs changent rapidement au début, puis se stabilisent progressivement.

y = c ln(x) + b

4 . La droite de tendance puissance donne de bons résultats si les valeurs de la dépendance étudiée sont caractérisées par une variation constante du taux de croissance. Un exemple d'une telle dépendance peut servir de graphique de mouvement uniformément accéléré de la voiture. S'il y a des valeurs nulles ou négatives dans les données, vous ne pouvez pas utiliser une courbe de tendance de puissance.

Il est construit selon l'équation :

y = cxb

où les coefficients b, c sont des constantes.

5 . Une ligne de tendance exponentielle doit être utilisée si le taux de variation des données augmente continuellement. Pour les données contenant des valeurs nulles ou négatives, ce type d'approximation n'est pas non plus applicable.

Il est construit selon l'équation :

y=cebx

où les coefficients b, c sont des constantes.

Lors de la sélection d'une ligne de tendance, Excel calcule automatiquement la valeur de R2, qui caractérise la précision de l'approximation : plus la valeur R2 est proche de un, plus la ligne de tendance se rapproche de manière fiable du processus étudié. Si nécessaire, la valeur de R2 peut toujours être affichée sur le diagramme.

Déterminé par la formule :

Pour ajouter une ligne de tendance à une série de données :

activer le graphique construit sur la base de la série de données, c'est-à-dire cliquer dans la zone du graphique. L'élément Graphique apparaîtra dans le menu principal ;

après avoir cliqué sur cet élément, un menu apparaîtra à l'écran, dans lequel vous devrez sélectionner la commande Ajouter une ligne de tendance.

Les mêmes actions sont facilement mises en œuvre si vous survolez le graphique correspondant à l'une des séries de données et cliquez avec le bouton droit ; dans le menu contextuel qui apparaît, sélectionnez la commande Ajouter une ligne de tendance. La boîte de dialogue Trendline apparaîtra à l'écran avec l'onglet Type ouvert (Fig. 1).

Après cela, vous avez besoin de :

Dans l'onglet Type, sélectionnez le type de ligne de tendance requis (Linéaire est sélectionné par défaut). Pour le type Polynôme, dans le champ Degré, spécifiez le degré du polynôme sélectionné.

1 . Le champ Built on Series répertorie toutes les séries de données du graphique en question. Pour ajouter une courbe de tendance à une série de données spécifique, sélectionnez son nom dans le champ Construit sur la série.

Si nécessaire, en allant dans l'onglet Paramètres (Fig. 2), vous pouvez définir les paramètres suivants pour la ligne de tendance :

modifiez le nom de la ligne de tendance dans le champ Nom de la courbe approchée (lissée).

définissez le nombre de périodes (en avant ou en arrière) pour la prévision dans le champ Prévision ;

afficher l'équation de la ligne de tendance dans la zone graphique, pour laquelle vous devez activer la case à cocher afficher l'équation sur le graphique ;

afficher la valeur de la fiabilité de l'approximation R2 dans la zone du diagramme, pour laquelle vous devez activer la case à cocher mettre la valeur de la fiabilité de l'approximation (R^2) sur le diagramme ;

définir le point d'intersection de la ligne de tendance avec l'axe Y, pour lequel vous devez cocher la case Intersection de la courbe avec l'axe Y en un point ;

cliquez sur le bouton OK pour fermer la boîte de dialogue.

Il existe trois façons de commencer à modifier une ligne de tendance déjà créée :

utilisez la commande Ligne de tendance sélectionnée du menu Format, après avoir sélectionné la ligne de tendance ;

sélectionnez la commande Formater la courbe de tendance dans le menu contextuel, qui est appelée en cliquant avec le bouton droit sur la courbe de tendance ;

en double-cliquant sur la ligne de tendance.

La boîte de dialogue Format Trendline apparaîtra à l'écran (Fig. 3), contenant trois onglets : Affichage, Type, Paramètres et le contenu des deux derniers coïncide complètement avec les onglets similaires de la boîte de dialogue Trendline (Fig. 1-2 ). Dans l'onglet Affichage, vous pouvez définir le type de ligne, sa couleur et son épaisseur.

Pour supprimer une ligne de tendance déjà construite, sélectionnez la ligne de tendance à supprimer et appuyez sur la touche Suppr.

Les avantages de l'outil d'analyse de régression considéré sont :

la facilité relative de tracer une ligne de tendance sur des graphiques sans créer de tableau de données pour celle-ci ;

une liste assez large de types de lignes de tendance proposées, et cette liste comprend les types de régression les plus couramment utilisés ;

la possibilité de prédire le comportement du processus à l'étude pour un nombre arbitraire (dans le bon sens) de pas en avant, ainsi qu'en arrière ;

la possibilité d'obtenir l'équation de la ligne de tendance sous une forme analytique ;

la possibilité, si nécessaire, d'obtenir une appréciation de la fiabilité de l'approximation.

Les inconvénients comprennent les points suivants :

la construction d'une ligne de tendance n'est effectuée que s'il existe un graphique construit sur une série de données;

le processus de génération de séries de données pour la caractéristique à l'étude sur la base des équations de ligne de tendance obtenues pour celle-ci est quelque peu encombré: les équations de régression requises sont mises à jour à chaque changement des valeurs de la série de données d'origine, mais uniquement dans la zone du graphique , tandis que la série de données formée sur la base de la tendance de l'équation de l'ancienne ligne reste inchangée ;

Dans les rapports de graphique croisé dynamique, lorsque vous modifiez l'affichage du graphique ou le rapport de tableau croisé dynamique associé, les courbes de tendance existantes ne sont pas conservées. Vous devez donc vous assurer que la mise en page du rapport répond à vos besoins avant de tracer des courbes de tendance ou de formater le rapport de graphique croisé dynamique.

Des lignes de tendance peuvent être ajoutées aux séries de données présentées sur des graphiques tels qu'un graphique, un histogramme, des graphiques en aires plates non normalisées, des graphiques à barres, en nuage de points, à bulles et boursiers.

Vous ne pouvez pas ajouter de courbes de tendance aux séries de données sur les graphiques 3D, standard, en radar, à secteurs et en anneau.

Utilisation des fonctions Excel intégrées

Excel fournit également un outil d'analyse de régression pour tracer des lignes de tendance en dehors de la zone du graphique. Un certain nombre de fonctions de feuilles de calcul statistiques peuvent être utilisées à cette fin, mais toutes vous permettent de créer uniquement des régressions linéaires ou exponentielles.

Excel dispose de plusieurs fonctions pour construire une régression linéaire, notamment :

TENDANCE;

PENTE et COUPE.

Ainsi que plusieurs fonctions pour construire une ligne de tendance exponentielle, notamment :

LGRFPenv.

Il est à noter que les techniques de construction des régressions à l'aide des fonctions TENDANCE et CROISSANCE sont pratiquement les mêmes. On peut en dire autant du couple de fonctions DROITEREG et LGRFPRIBL. Pour ces quatre fonctions, lors de la création d'un tableau de valeurs, des fonctionnalités Excel telles que les formules matricielles sont utilisées, ce qui encombre quelque peu le processus de construction des régressions. Nous notons également que la construction d'une régression linéaire, à notre avis, est la plus facile à mettre en œuvre à l'aide des fonctions PENTE et INTERCEPTION, où la première d'entre elles détermine la pente de la régression linéaire, et la seconde détermine le segment coupé par la régression sur l'axe y.

Les avantages de l'outil de fonctions intégrées pour l'analyse de régression sont :

un processus assez simple du même type de formation de séries de données de la caractéristique étudiée pour toutes les fonctions statistiques intégrées qui définissent les lignes de tendance ;

une technique standard pour construire des lignes de tendance sur la base des séries de données générées ;

la capacité de prédire le comportement du processus à l'étude pour le nombre requis de pas en avant ou en arrière.

Et les inconvénients incluent le fait qu'Excel n'a pas de fonctions intégrées pour créer d'autres types de lignes de tendance (sauf linéaires et exponentielles). Cette circonstance ne permet souvent pas de choisir un modèle suffisamment précis du processus étudié, ainsi que d'obtenir des prévisions proches de la réalité. De plus, lors de l'utilisation des fonctions TREND et GROW, les équations des lignes de tendance ne sont pas connues.

Il convient de noter que les auteurs n'ont pas fixé l'objectif de l'article de présenter le déroulement de l'analyse de régression avec plus ou moins d'exhaustivité. Sa tâche principale est de montrer les capacités du package Excel à résoudre des problèmes d'approximation à l'aide d'exemples spécifiques ; démontrer les outils efficaces dont dispose Excel pour créer des régressions et des prévisions ; illustrent à quel point ces problèmes peuvent être résolus relativement facilement, même par un utilisateur qui n'a pas une connaissance approfondie de l'analyse de régression.

Exemples de résolution de problèmes spécifiques

Envisagez la solution de problèmes spécifiques à l'aide des outils répertoriés du package Excel.

Tache 1

Avec un tableau de données sur le bénéfice d'une entreprise de transport automobile pour 1995-2002. vous devez faire ce qui suit.

Construisez un tableau.

Ajoutez des lignes de tendance linéaires et polynomiales (quadratiques et cubiques) au graphique.

À l'aide des équations de la ligne de tendance, obtenez des données tabulaires sur le bénéfice de l'entreprise pour chaque ligne de tendance pour 1995-2004.

Faire une prévision des bénéfices de l'entreprise pour 2003 et 2004.

La solution du problème

Dans la plage de cellules A4: C11 de la feuille de calcul Excel, nous entrons dans la feuille de calcul illustrée à la Fig. 4.

Après avoir sélectionné la plage de cellules B4:C11, nous construisons un graphique.

Nous activons le graphique construit et, selon la méthode décrite ci-dessus, après avoir sélectionné le type de ligne de tendance dans la boîte de dialogue Ligne de tendance (voir Fig. 1), nous ajoutons alternativement des lignes de tendance linéaires, quadratiques et cubiques au graphique. Dans la même boîte de dialogue, ouvrez l'onglet Paramètres (voir Fig. 2), dans le champ Nom de la courbe d'approximation (lissée), entrez le nom de la tendance ajoutée, et dans le champ Prévisions à terme pour : périodes, définissez la valeur 2, puisqu'il est prévu de faire une prévision de bénéfice pour les deux années à venir. Pour afficher l'équation de régression et la valeur de fiabilité de l'approximation R2 dans la zone du diagramme, cochez les cases Afficher l'équation à l'écran et placez la valeur de fiabilité de l'approximation (R^2) sur le diagramme. Pour une meilleure perception visuelle, nous modifions le type, la couleur et l'épaisseur des lignes de tendance construites, pour lesquelles nous utilisons l'onglet Affichage de la boîte de dialogue Format de la ligne de tendance (voir Fig. 3). Le graphique résultant avec des lignes de tendance ajoutées est illustré à la fig. 5.

Obtenir des données tabulaires sur le bénéfice de l'entreprise pour chaque ligne de tendance pour 1995-2004. Utilisons les équations des lignes de tendance présentées à la fig. 5. Pour cela, dans les cellules de la plage D3:F3, entrez des informations textuelles sur le type de la ligne de tendance sélectionnée : Tendance linéaire, Tendance quadratique, Tendance cubique. Ensuite, entrez la formule de régression linéaire dans la cellule D4 et, à l'aide du marqueur de remplissage, copiez cette formule avec des références relatives à la plage de cellules D5: D13. Il convient de noter que chaque cellule avec une formule de régression linéaire de la plage de cellules D4: D13 a une cellule correspondante de la plage A4: A13 comme argument. De même, pour la régression quadratique, la plage de cellules E4:E13 est remplie, et pour la régression cubique, la plage de cellules F4:F13 est remplie. Ainsi, une prévision a été faite pour le bénéfice de l'entreprise pour 2003 et 2004. avec trois tendances. Le tableau de valeurs résultant est illustré à la fig. 6.

Tâche 2

Construisez un tableau.

Ajoutez des lignes de tendance logarithmiques, exponentielles et exponentielles au graphique.

Dérivez les équations des lignes de tendance obtenues, ainsi que les valeurs de la fiabilité d'approximation R2 pour chacune d'elles.

À l'aide des équations de la ligne de tendance, obtenez des données tabulaires sur le bénéfice de l'entreprise pour chaque ligne de tendance pour 1995-2002.

Faire une prévision de profit pour l'entreprise pour 2003 et 2004 en utilisant ces lignes de tendance.

La solution du problème

En suivant la méthodologie donnée dans la résolution du problème 1, nous obtenons un diagramme avec des lignes de tendance logarithmiques, exponentielles et exponentielles ajoutées (Fig. 7). De plus, en utilisant les équations de la ligne de tendance obtenues, nous remplissons le tableau des valeurs pour le profit de l'entreprise, y compris les valeurs prévues pour 2003 et 2004. (Fig. 8).

Sur la fig. 5 et fig. on voit que le modèle à tendance logarithmique correspond à la valeur la plus faible de la fiabilité de l'approximation

R2 = 0,8659

Les valeurs les plus élevées de R2 correspondent à des modèles à tendance polynomiale : quadratique (R2 = 0,9263) et cubique (R2 = 0,933).

Tâche 3

Avec un tableau de données sur le profit d'une entreprise de transport automobile pour 1995-2002, donné dans la tâche 1, vous devez effectuer les étapes suivantes.

Obtenez des séries de données pour les courbes de tendance linéaires et exponentielles à l'aide des fonctions TREND et GROW.

À l'aide des fonctions TENDANCE et CROISSANCE, faites une prévision de bénéfice pour l'entreprise pour 2003 et 2004.

Pour les données initiales et la série de données reçues, construisez un diagramme.

La solution du problème

Utilisons la feuille de travail de la tâche 1 (voir Fig. 4). Commençons par la fonction TENDANCE :

sélectionnez la plage de cellules D4: D11, qui doit être remplie avec les valeurs de la fonction TENDANCE correspondant aux données connues sur le bénéfice de l'entreprise ;

appelez la commande Fonction du menu Insertion. Dans la boîte de dialogue Assistant de fonction qui s'affiche, sélectionnez la fonction TENDANCE dans la catégorie Statistique, puis cliquez sur le bouton OK. La même opération peut être effectuée en appuyant sur le bouton (fonction Insertion) de la barre d'outils standard.

Dans la boîte de dialogue Arguments de la fonction qui s'affiche, entrez la plage de cellules C4:C11 dans le champ Known_values_y ; dans le champ Known_values_x - la plage de cellules B4:B11 ;

pour transformer la formule saisie en formule matricielle, utilisez la combinaison de touches + + .

La formule que nous avons entrée dans la barre de formule ressemblera à : =(TREND(C4:C11;B4:B11)).

En conséquence, la plage de cellules D4: D11 est remplie avec les valeurs correspondantes de la fonction TREND (Fig. 9).

Faire une prévision du bénéfice de l'entreprise pour 2003 et 2004. nécessaire:

sélectionnez la plage de cellules D12: D13, où les valeurs prédites par la fonction TENDANCE seront saisies.

appelez la fonction TREND et dans la boîte de dialogue Arguments de la fonction qui apparaît, entrez dans le champ Known_values_y - la plage de cellules C4:C11 ; dans le champ Known_values_x - la plage de cellules B4:B11 ; et dans le champ New_values_x - la plage de cellules B12:B13.

transformer cette formule en une formule matricielle en utilisant le raccourci clavier Ctrl + Maj + Entrée.

La formule saisie ressemblera à : =(TREND(C4:C11;B4:B11;B12:B13)), et la plage de cellules D12:D13 sera remplie avec les valeurs prédites de la fonction TREND (voir Fig. 9).

De même, une série de données est remplie à l'aide de la fonction GROWTH, qui est utilisée dans l'analyse des dépendances non linéaires et fonctionne exactement de la même manière que sa contrepartie linéaire TREND.

La figure 10 montre le tableau en mode d'affichage de formule.

Pour les données initiales et les séries de données obtenues, le diagramme de la fig. Onze.

Tâche 4

Avec le tableau des données sur la réception des demandes de services par le service de répartition de l'entreprise de transport automobile pour la période du 1er au 11e jour du mois en cours, les actions suivantes doivent être effectuées.

Obtenir des séries de données pour la régression linéaire : en utilisant les fonctions SLOPE et INTERCEPT ; à l'aide de la fonction DROITEREG.

Récupérez une série de données pour la régression exponentielle à l'aide de la fonction LYFFPRIB.

À l'aide des fonctions ci-dessus, faites une prévision de la réception des demandes au service d'expédition pour la période du 12 au 14 du mois en cours.

Pour les séries de données originales et reçues, construisez un diagramme.

La solution du problème

Notez que, contrairement aux fonctions TREND et GROW, aucune des fonctions listées ci-dessus (SLOPE, INTERCEPTION, LINEST, LGRFPRIB) n'est une régression. Ces fonctions ne jouent qu'un rôle auxiliaire, déterminant les paramètres de régression nécessaires.

Pour les régressions linéaires et exponentielles construites à l'aide des fonctions SLOPE, INTERCEPT, LINEST, LGRFPRIB, l'apparence de leurs équations est toujours connue, contrairement aux régressions linéaires et exponentielles correspondant aux fonctions TREND et GROWTH.

1 . Construisons une régression linéaire qui a l'équation :

y=mx+b

en utilisant les fonctions PENTE et INTERCEPTION, la pente de la régression m étant déterminée par la fonction PENTE, et le terme constant b - par la fonction INTERCEPTION.

Pour ce faire, nous effectuons les actions suivantes :

saisissez la table source dans la plage de cellules A4:B14 ;

la valeur du paramètre m sera déterminée dans la cellule C19. Sélectionnez dans la catégorie Statistique la fonction Pente ; nous entrons la plage de cellules B4:B14 dans le champ Known_values_y et la plage de cellules A4:A14 dans le champ Known_values_x. La formule sera saisie dans la cellule C19 : =SLOPE(B4:B14;A4:A14);

en utilisant une technique similaire, la valeur du paramètre b dans la cellule D19 est déterminée. Et son contenu ressemblera à ceci : = INTERCEPT(B4:B14;A4:A14). Ainsi, les valeurs des paramètres m et b nécessaires à la construction d'une régression linéaire seront stockées, respectivement, dans les cellules C19, D19 ;

puis nous entrons la formule de régression linéaire dans la cellule C4 sous la forme : = $ C * A4 + $ D. Dans cette formule, les cellules C19 et D19 sont écrites avec des références absolues (l'adresse de la cellule ne doit pas changer avec une éventuelle copie). Le signe de référence absolu $ peut être tapé soit au clavier, soit à l'aide de la touche F4, après avoir placé le curseur sur l'adresse de la cellule. À l'aide de la poignée de remplissage, copiez cette formule dans la plage de cellules C4: C17. Nous obtenons la série de données souhaitée (Fig. 12). Étant donné que le nombre de requêtes est un nombre entier, vous devez définir le format numérique dans l'onglet Nombre de la fenêtre Format de cellule avec le nombre de décimales sur 0.

2 . Construisons maintenant une régression linéaire donnée par l'équation :

y=mx+b

à l'aide de la fonction DROITEREG.

Pour ça:

entrez la fonction DROITEREG sous forme de formule matricielle dans la plage de cellules C20:D20: =(LINEST(B4:B14;A4:A14)). En conséquence, nous obtenons la valeur du paramètre m dans la cellule C20 et la valeur du paramètre b dans la cellule D20 ;

entrez la formule dans la cellule D4 : =$C*A4+$D ;

copiez cette formule à l'aide du marqueur de remplissage dans la plage de cellules D4: D17 et obtenez la série de données souhaitée.

3 . Nous construisons une régression exponentielle qui a pour équation :

à l'aide de la fonction LGRFPRIBL, il s'effectue de la même manière :

dans la plage de cellules C21:D21, saisissez la fonction LGRFPRIBL sous forme de formule matricielle : =( LGRFPRIBL (B4:B14;A4:A14)). Dans ce cas, la valeur du paramètre m sera déterminée dans la cellule C21, et la valeur du paramètre b sera déterminée dans la cellule D21 ;

la formule est saisie dans la cellule E4 : =$D*$C^A4 ;

à l'aide du marqueur de remplissage, cette formule est copiée dans la plage de cellules E4: E17, où se trouvera la série de données pour la régression exponentielle (voir Fig. 12).

Sur la fig. 13 montre un tableau qui montre les fonctions que nous utilisons avec les plages de cellules nécessaires, ainsi que des formules.

Valeur R 2 appelé coefficient de détermination.

La tâche de construire une dépendance de régression est de trouver le vecteur de coefficients m du modèle (1) auquel le coefficient R prend la valeur maximale.

Pour évaluer la signification de R, le test F de Fisher est utilisé, calculé par la formule

où n- taille de l'échantillon (nombre d'expériences) ;

k est le nombre de coefficients du modèle.

Si F dépasse une valeur critique pour les données n et k et le niveau de confiance accepté, alors la valeur de R est considérée comme significative. Des tableaux de valeurs critiques de F sont donnés dans des ouvrages de référence sur les statistiques mathématiques.

Ainsi, la signification de R est déterminée non seulement par sa valeur, mais également par le rapport entre le nombre d'expériences et le nombre de coefficients (paramètres) du modèle. En effet, le rapport de corrélation pour n=2 pour un modèle linéaire simple est de 1 (à travers 2 points sur un plan, on peut toujours tracer une seule droite). Cependant, si les données expérimentales sont des variables aléatoires, une telle valeur de R doit être approuvée avec beaucoup de prudence. Habituellement, pour obtenir un R significatif et une régression fiable, il s'agit de s'assurer que le nombre d'expériences dépasse significativement le nombre de coefficients du modèle (n>k).

Pour construire un modèle de régression linéaire, vous devez :

1) préparer une liste de n lignes et m colonnes contenant les données expérimentales (colonne contenant la valeur de sortie Oui doit être le premier ou le dernier de la liste) ; par exemple, reprenons les données de la tâche précédente, en ajoutant une colonne appelée "numéro de période", numérotant les numéros de périodes de 1 à 12. (ce seront les valeurs X)

2) allez dans le menu Données/Analyse des données/Régression

Si l'élément "Analyse des données" du menu "Outils" est manquant, vous devez alors vous rendre dans l'élément "Add-ons" du même menu et cocher la case "Analysis Package".

3) dans la boîte de dialogue "Régression", définissez :

intervalle d'entrée Y ;

intervalle d'entrée X ;

· intervalle de sortie - la cellule supérieure gauche de l'intervalle dans lequel les résultats du calcul seront placés (il est recommandé de le placer sur une nouvelle feuille de calcul);

4) cliquez sur "Ok" et analysez les résultats.

La méthode des moindres carrés (LSM) vous permet d'estimer diverses quantités en utilisant les résultats de nombreuses mesures contenant des erreurs aléatoires.

Caractéristique MNC

L'idée principale de cette méthode est que la somme des erreurs au carré est considérée comme un critère de précision de la solution du problème, que l'on cherche à minimiser. Lors de l'utilisation de cette méthode, des approches numériques et analytiques peuvent être appliquées.

En particulier, en tant qu'implémentation numérique, la méthode des moindres carrés implique de faire autant de mesures d'une variable aléatoire inconnue que possible. De plus, plus il y a de calculs, plus la solution sera précise. Sur cet ensemble de calculs (données initiales), un autre ensemble de solutions proposées est obtenu, parmi lequel la meilleure est ensuite sélectionnée. Si l'ensemble des solutions est paramétré, alors la méthode des moindres carrés sera réduite à trouver la valeur optimale des paramètres.

En tant qu'approche analytique de la mise en œuvre du LSM sur l'ensemble de données initiales (mesures) et l'ensemble de solutions proposé, une partie (fonctionnelle) est définie, qui peut être exprimée par une formule obtenue comme une certaine hypothèse qui doit être confirmée . Dans ce cas, la méthode des moindres carrés se réduit à trouver le minimum de cette fonctionnelle sur l'ensemble des erreurs quadratiques des données initiales.

Notez que ce ne sont pas les erreurs elles-mêmes, mais les carrés des erreurs. Pourquoi? Le fait est que souvent les écarts de mesures par rapport à la valeur exacte sont à la fois positifs et négatifs. Lors de la détermination de la moyenne, une simple sommation peut conduire à une conclusion incorrecte sur la qualité de l'estimation, car l'annulation mutuelle des valeurs positives et négatives réduira la puissance d'échantillonnage de l'ensemble de mesures. Et, par conséquent, l'exactitude de l'évaluation.

Pour éviter que cela ne se produise, les écarts au carré sont additionnés. Plus encore, afin d'égaliser la dimension de la valeur mesurée et de l'estimation finale, à partir de la somme des erreurs quadratiques,

Quelques applications des multinationales

MNC est largement utilisé dans divers domaines. Par exemple, dans la théorie des probabilités et les statistiques mathématiques, la méthode est utilisée pour déterminer une caractéristique d'une variable aléatoire telle que l'écart type, qui détermine la largeur de la plage de valeurs d'une variable aléatoire.

Taper