Вот чего я добился теперь, но не верно решает:

//---------------------------------------------------------------------------
 
#include <vcl.h>
#pragma hdrstop
 
#include "Unit1.h"
#include <stdlib.h>
#include <stdio.h>
#include <conio.h>
#include <math.h>
 
//---------------------------------------------------------------------------
#pragma package(smart_init)
#pragma resource "*.dfm"
TForm1 *Form1;
//---------------------------------------------------------------------------
__fastcall TForm1::TForm1(TComponent* Owner)
        : TForm(Owner)
{
}
//---------------------------------------------------------------------------
 
void __fastcall TForm1::FormCreate(TObject *Sender)
{
AutoSize = false;
   Image1->Stretch = true;
   Edit1->Clear();
   Memo1->Clear();
}
//---------------------------------------------------------------------------
 
void __fastcall TForm1::Button1Click(TObject *Sender)
{    int nn , j;
nn=StrToInt(Edit1->Text);
  StringGrid1->ColCount=nn+2;
  StringGrid1->RowCount=nn+1;
  StringGrid1->FixedCols=1;
  StringGrid1->FixedRows=1;
  StringGrid1->Cells[0][0]="№";
  for(int i=0;i<nn;i++)
  StringGrid1->Cells[0][i+1]=IntToStr(i+1)+" рівняння";
  for(int j=0;j<nn;j++)
  StringGrid1->Cells[j+1][0]="X"+IntToStr(j+1);
  if(j=nn) StringGrid1->Cells[j+1][0]="В-дь:";
  Memo1->Clear();
}
//---------------------------------------------------------------------------
void __fastcall TForm1::Button3Click(TObject *Sender)
{
Close();
}
//---------------------------------------------------------------------------
void __fastcall TForm1::Button2Click(TObject *Sender)
{
int n = StrToInt(Edit1->Text);
int a[10][10];
int b[10];
int x[10];
for(int i=0; i<n; i++){
   for(int j=0; j<n; j++){
   a[i][j] = StrToInt(StringGrid1->Cells[j+1][i+1]);
      }
      }
    int i,j;
  for( i=0;i<n-1;i++) {
  for( j=i++;j<n;j++) {
  a[j][i] = -a[j][i]/a[i][i];
           for(int k=i++; k<n; k++){
           int k;
               a[j][k] = a[j][k]+a[j][i]*a[i][k];
               b[j] = b[j]+a[j][i]*b[i];
                }
                }
              }
 
 
 
x[n-1]=1.0*b[n-1]/a[n-1][n-1];
for(i=n-2, j;0<=i;i--){
   double h=b[i];
    for (j = i+1;j<n;j++) {h=h+a[i][j]*x[j];}
    x[i] =(b[i]-h)/a[i][i];}
    for (i =0; i<n; i++)
   Memo1->Lines->Add("X["+IntToStr(i+1)+"]="+FloatToStr(x[i]));
}
//---------------------------------------------------------------------------