С Новым годом! Форум программистов, компьютерный форум, киберфорум
Delphi: Базы данных
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.59/29: Рейтинг темы: голосов - 29, средняя оценка - 4.59
0 / 0 / 0
Регистрация: 18.09.2012
Сообщений: 32
1

temporary table resource limit

28.11.2012, 14:23. Показов 5352. Ответов 3
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Доброго времени суток!!! Возникла проблема при обработке таблицы БД. БД выполнена в BDE. Нужная мне таблица имеет около 260 тысяч записей и 16 колонок. Работало все чудесно. Она красиво выгружалась. Но случилось так что мне пришлось в данную таблицу добавить еще 4 колонки. И теперь при выгрузке данных программа начинает выдавать ошибку Temporary Table Resource Limit. При этом она из 260 тысяч записей выгружает около 165 тысяч... Память в BDE Administrator я уже пробовал увеличить.
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
28.11.2012, 14:23
Ответы с готовыми решениями:

Temporary table resource limit
Всем привет! Выполняю сложный запрос который выгружает свыше 400 000 записей и вылетает ошибка...

Как заставить SP увидеть local temporary table из другой SP
В stored procedure sp1 содается local temporary table #t1, проводится много очень похожих insert-ов...

Как можно в <table id="tb1 </table> вписать w ??
У меня есть &lt;textarea id=&quot;t1 какой то текст &lt;/textarea&gt; Далее...

Получение значения из определенной ячейки <table></table>
Помогите новичку получить значения из таблицы в richTextBox Получаю таблицу со страницы html вот...

3
1263 / 706 / 62
Регистрация: 21.12.2009
Сообщений: 2,256
28.11.2012, 15:31 2
Цитата Сообщение от dart_veider13 Посмотреть сообщение
БД выполнена в BDE
В БДЕ никаких БД не "выполняют". БДЕ - это не более, чем инструмент, предназначенный для доступа к БД. Причем инструмент давно устаревший и никем не сопровождаемый. Если Вы разрабатываете новое приложение всячечески советовал бы Вам найти альтернативу
Цитата Сообщение от dart_veider13 Посмотреть сообщение
начинает выдавать ошибку Temporary Table Resource Limit. При этом она из 260 тысяч записей выгружает около 165 тысяч...
По всей вероятности Вы пользуете объект TTable. Попробуйте поработать с TQuery в редактируемом режиме не образуя таких больших наборов данных.
0
0 / 0 / 0
Регистрация: 18.09.2012
Сообщений: 32
29.11.2012, 09:19  [ТС] 3
Используемые объекты это стандартные компоненты BDE - DataBase, DataSource, DBGrid. Завтра код покажу тк он на работе. Мне непонятно почему это 16 колонок для него нормально а 20 перебор?
ЗЫ: Программа была эта написана до меня еще. Я лишь хочу внести кое какие корректировки. Вообще она очень интересно вытягивает со сторонней запароленой базы написанной на СУБД Cashe(возможно неправильно написал название) на серваке выборку и импортирует ее в другую таблицу через IBStoredProc в другую запароленую базу на др серваке. Видимо перевалочный механизм тут делается через BDE. Есть конечно же 2 таблицы из вкладки BDE но походу как я понял они старые и уже непричастны. В любом случае мне нужно добиться чтобы прога импортировала данные из одной БД в другую БД. С 16 колонками она это делать умеет. А вот 20 ей не по зубам.
ЗЫЫ: Кстати та таблица которая выгружается пополняется примерно со скоростью 200 записей в день.

Добавлено через 10 часов 56 минут
Вот вобщем как и говорил выкладываю кодЫ:
1) Выполняется внутренний запрос SQL
SQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
SELECT DISTINCT
TRIM(IsNull(CAST(AddressIndex AS CHAR(6)), '644000') ||
TRIM(IsNull(CAST(', ' || AddressRegion AS CHAR(30)), '')) ||
TRIM(IsNull(CAST(', ' || AddressTerritory AS CHAR(30)), '')) ||
TRIM(IsNull(CAST(', ' || AddressTown AS CHAR(30)), '')) ||
TRIM(IsNull(CAST(', ' || AddressCity AS CHAR(30)), '')) ||
TRIM(IsNull(CAST(', ' || AddressStreet AS CHAR(30)), '')) ||
TRIM(IsNull(CAST(', Д. ' || AddressHouse AS CHAR(30)), '')) ||
TRIM(IsNull(CAST(', КОРП. ' || AddressBuilding AS CHAR(30)), '')) ||
TRIM(IsNull(CAST(', КВ. ' || AddressRoom AS CHAR(30)), ''))) AS ADDRESS,
To_number(SUBSTRING(Insurerfk->RegNumberPFR FROM 4 FOR 3)) AS "RAION",
To_number(SUBSTRING(Insurerfk->RegNumberPFR FROM 7 FOR 6)) AS "REGNUMB",
To_number(Insurerfk->RegNumberPFR) AS "ENTNMB", 
IsNull(to_number(YEAR),0) AS "GOD",
IsNull(to_number(Period),0) AS "KVARTAL",
IsNull(to_number(CountPeople),0) AS "CNTZL",
IsNull(to_number(MeanWorker),0) AS "MWRK",
IsNull(+$piece(FIELDS,'R100_C3:',2),0) AS "STR_100", 
IsNull(+$piece(FIELDS,'R100_C4:',2),0) AS "NAK_100", 
CAST(IsNull(+$piece(FIELDS,'R110_C3:',2),0) + IsNull(+$piece(FIELDS,'R120_C3:',2),0) AS NUMERIC(15,2)) AS "STR_110", 
CAST(IsNull(+$piece(FIELDS,'R110_C4:',2),0) + IsNull(+$piece(FIELDS,'R120_C4:',2),0) AS NUMERIC(15,2)) AS "NAK_110", 
IsNull(+$piece(FIELDS,'R140_C3:',2),0) AS "STR_140", 
IsNull(+$piece(FIELDS,'R140_C4:',2),0) AS "NAK_140", 
IsNull(+$piece(FIELDS,'R150_C3:',2),0) AS "STR_150", 
IsNull(+$piece(FIELDS,'R150_C4:',2),0) AS "NAK_150",
IsNull(+$piece(FIELDS,'R114_C3:',2),0) AS "STR_114", 
IsNull(+$piece(FIELDS,'R114_C4:',2),0) AS "NAK_114",
IsNull(+$piece(FIELDS,'R144_C3:',2),0) AS "STR_144", 
IsNull(+$piece(FIELDS,'R144_C4:',2),0) AS "NAK_144",
CSDate AS "ENTER_DATE"
FROM ASV_Entities.CalcStatementTitle a1 
WHERE 
YEAR >= 2011 AND 
TYPE = 1 AND 
IsActual = 1 AND
(IsNull(+$piece(FIELDS,'R110_C3:',2),0) + IsNull(+$piece(FIELDS,'R110_C4:',2),0) + IsNull(+$piece(FIELDS,'R140_C3:',2),0) + IsNull(+$piece(FIELDS,'R140_C4:',2),0) <> 0) AND
(IsNull(+$piece(FIELDS,'R114_C3:',2),0) + IsNull(+$piece(FIELDS,'R114_C4:',2),0) + IsNull(+$piece(FIELDS,'R144_C3:',2),0) + IsNull(+$piece(FIELDS,'R144_C4:',2),0) <> 0) AND
CorrectNumber = (SELECT MAX(CorrectNumber) AS Expr1 FROM ASV_Entities.CalcStatementTitle a2 WHERE (a2.IsActual = 1) AND (a1.Period = a2.Period) AND (a1.Year = a2.Year) AND (a1.Type = a2.Type) AND (IsActual) = 1 AND (a1.InsurerFK = a2.InsurerFK)) AND
CSDate = (SELECT MAX(CSDate) AS Expr1 FROM ASV_Entities.CalcStatementTitle a2 WHERE (a2.IsActual = 1) AND (a1.Period = a2.Period) AND (a1.Year = a2.Year) AND (a1.Type = a2.Type) AND (IsActual = 1) AND (a1.InsurerFK = a2.InsurerFK))
На самом деле он длиннее, там еще 4 конструкции объеденены через Union. Ну это для 2010 года. Там маленько по другому считалось. Лично я добавил в селект только 4 колонки - STR_114, NAK_114, STR_144, NAK_144.
2) В программе выполняется код выгрузки для объекта IBStoredProc:
Delphi
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
procedure TfmPTKS.RzBitBtn1Click(Sender: TObject);
var I, P, T: Integer;
begin
  I := 0;
  P := 1;
  T := 0;
  if Application.MessageBox('Начать обновление справочников?', 'Подтверждение', mb_YESNO) = idYes then
  begin
    LogMemo.Lines.Clear;
    LogTo('Начало импорта данных');
    with DM do
    begin
      IBDatabase.Connected := True;
      try
        if not IBTransaction.InTransaction then
          IBTransaction.StartTransaction;
        try
          // список РСВ-1
          if CheckList.ItemChecked[1] then
          begin
            Application.ProcessMessages;
            LogTo('Импорт справочника "Список РСВ-1"...');
 
            qeSQL.Close;
            qeSQL.SQL.LoadFromFile(ExtractFilePath(ParamStr(0)) + 'UPDATE_RSV_FROM_PTKA.sql');
            qeSQL.Open;
 
            qeSQL.FetchAll;
 
            qeSQL.First;
 
            LogTo(Format('Загружено записей: %d', [qeSQL.RecordCount]));
 
            IBSQL.SQL.Text := 'DELETE FROM RSV_FROM_PTKA';
            IBSQL.ExecQuery;
            
            IBStoredProc.Active := False;
            IBStoredProc.StoredProcName := 'UPDATE_RSV_FROM_PTKA';
            if not IBStoredProc.Prepared then
              IBStoredProc.Prepare;
            try
              while (not qeSQL.Eof) do
              begin
                for I := 0 to IBStoredProc.Params.Count - 1 do
                  IBStoredProc.Params[I].Clear;
 
                IBStoredProc.ParamByName('RAION').AsInteger := qeSQL.FieldByName('RAION').AsInteger;
                IBStoredProc.ParamByName('REGNUMB').AsInteger := qeSQL.FieldByName('REGNUMB').AsInteger;
                IBStoredProc.ParamByName('GOD').AsInteger := qeSQL.FieldByName('GOD').AsInteger;
                IBStoredProc.ParamByName('KVARTAL').AsInteger := qeSQL.FieldByName('KVARTAL').AsInteger;
                IBStoredProc.ParamByName('STR_100').AsFloat := qeSQL.FieldByName('STR_110').AsFloat;
                IBStoredProc.ParamByName('NAK_100').AsFloat := qeSQL.FieldByName('NAK_110').AsFloat;
                IBStoredProc.ParamByName('STR_110').AsFloat := qeSQL.FieldByName('STR_110').AsFloat;
                IBStoredProc.ParamByName('NAK_110').AsFloat := qeSQL.FieldByName('NAK_110').AsFloat;
                IBStoredProc.ParamByName('STR_140').AsFloat := qeSQL.FieldByName('STR_140').AsFloat;
                IBStoredProc.ParamByName('NAK_140').AsFloat := qeSQL.FieldByName('NAK_140').AsFloat;
                IBStoredProc.ParamByName('STR_150').AsFloat := qeSQL.FieldByName('STR_150').AsFloat;
                IBStoredProc.ParamByName('NAK_150').AsFloat := qeSQL.FieldByName('NAK_150').AsFloat;
                IBStoredProc.ParamByName('STR_114').AsFloat := qeSQL.FieldByName('STR_114').AsFloat;
                IBStoredProc.ParamByName('NAK_114').AsFloat := qeSQL.FieldByName('NAK_114').AsFloat;
                IBStoredProc.ParamByName('STR_144').AsFloat := qeSQL.FieldByName('STR_144').AsFloat;
                IBStoredProc.ParamByName('NAK_144').AsFloat := qeSQL.FieldByName('NAK_144').AsFloat;
                IBStoredProc.ParamByName('CNTZL').AsFloat := qeSQL.FieldByName('CNTZL').AsFloat;
                IBStoredProc.ParamByName('MWRK').AsFloat := qeSQL.FieldByName('MWRK').AsFloat;
                IBStoredProc.ParamByName('ENTER_DATE').AsDateTime := qeSQL.FieldByName('ENTER_DATE').AsDateTime;
                IBStoredProc.ParamByName('ADDRESS').AsString := Copy(Trim(qeSQL.FieldByName('ADDRESS').AsString), 1, 255);
 
                IBStoredProc.ExecProc;
 
                if (P mod 10000) = 0 then
                begin
                  LogTo(Format('%d записей импортировано', [P]));
                  Application.ProcessMessages;
                end;
 
                qeSQL.Next;
                Inc(P);
              end;
            finally
              if IBStoredProc.Prepared then
                IBStoredProc.UnPrepare;
            end;
 
            LogTo('...успешно завершен.');
          end;
//Здесь обрабатывается исключение.
except
          on E: Exception do
          begin
            IBTransaction.RollbackRetaining;
            LogTo('Ошибка. ' + E.Message);
          end;
        end;
      finally
        IBDatabase.Connected := False;
        qeSQL.Close;
        LogTo('Готово.');
      end;
Тут только кусок процедуры, так что beginов и endов хвататет. Но именно эта часть импортирует этот запрос.
опять же я добавил 114 и 144 строки.
3)Далее в IBExpert задана процедура обновления таблицы
SQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
BEGIN
  IF (EXISTS (SELECT regnumb FROM RSV_FROM_PTKA WHERE raion = :raion AND regnumb = :regnumb AND god = :god AND kvartal = :kvartal)) THEN
  BEGIN
    UPDATE RSV_FROM_PTKA SET
      STR_100 = :str_100,
      NAK_100 = :nak_100,
      STR_110 = :str_110,
      NAK_110 = :nak_110,
      STR_140 = :str_140,
      NAK_140 = :nak_140,
      STR_150 = :str_150,
      NAK_150 = :nak_150,
      STR_114 = :str_114,
      NAK_114 = :nak_114,
      STR_144 = :str_144,
      NAK_144 = :nak_144,
      CNTZL = :CNTZL,
      MWRK = :MWRK,
      ENTER_DATE = :ENTER_DATE,
      ADDRESS = :ADDRESS
      WHERE raion = :raion AND regnumb = :regnumb AND god = :god AND kvartal = :kvartal;
  END
  ELSE
  BEGIN
    INSERT INTO RSV_FROM_PTKA (raion, regnumb, god, kvartal, STR_110, NAK_110, STR_140, NAK_140, STR_150, NAK_150, STR_114, NAK_114, STR_144, NAK_144, CNTZL, MWRK, ENTER_DATE, ADDRESS)
      VALUES (:raion, :regnumb, :god, :kvartal, :STR_110, :NAK_110, :STR_140, :NAK_140, :STR_150, :NAK_150, :STR_114, :NAK_114, :STR_144, :NAK_144, :CNTZL, :MWRK, :ENTER_DATE, :ADDRESS);
  END
END
Ну и для наглядности выложу код Data Module, чтобы вам было понятнее что там запихано
Delphi
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
unit uDM;
 
interface
 
uses
  SysUtils, Classes, IBDatabase, DB, IBCustomDataSet, IBStoredProc, DBTables,
  SynEditHighlighter, SynHighlighterSQL, ImgList, Controls, Dialogs, IBSQL,
  Menus;
 
type
  TDM = class(TDataModule)
    SaveDBF: TSaveDialog;
    OpenDlg: TOpenDialog;
    SaveDlg: TSaveDialog;
    ImageList: TImageList;
    SynSQLSyn: TSynSQLSyn;
    DataSource: TDataSource;
    Database: TDatabase;
    qeSQL: TQuery;
    Table1: TTable;
    Table2: TTable;
    IBStoredProc: TIBStoredProc;
    IBTransaction: TIBTransaction;
    IBDatabase: TIBDatabase;
    IBSQL: TIBSQL;
    qeRSVEND: TQuery;
  private
    { Private declarations }
  public
    { Public declarations }
  end;
 
var
  DM: TDM;
 
implementation
 
{$R *.dfm}
 
 
 
 
 
 
end.
Добавлено через 1 час 34 минуты
Вот еще есть код локальной выгрузки. Он тоже ругается такой же ошибкой, но выводит 165 тысяч записей. В исходном состоянии программа выводит 252407 записей - это 4038512 ячеек. Получается если выводится 165 тысяч при 20 колонках - это 3300000 ячеек (гораздо меньше). Если бы выгрузка сработала нормально, то выводилось бы 5048140 ячеек...
Delphi
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
procedure TfmPTKS.Query_Export;
var I: Integer;
begin
  with DM do
  begin
    if SaveDBF.Execute then
    begin
      Application.ProcessMessages;
      Screen.Cursor := crSQLWait;
      qeSQL.DisableControls;
      Table1.DisableControls;
      Table1.DatabaseName := ExtractFilePath(SaveDBF.FileName);
      Table1.TableName := ExtractFileName(SaveDBF.FileName);
      try
        qeSQL.First;
        Table1.Close;
        Table1.FieldDefs := qeSQL.FieldDefs;
        Table1.CreateTable;
        Table1.Open;
        repeat
          Application.ProcessMessages;
          Table1.Append;
          for I := 0 to qeSQL.Fields.Count - 1 do
              Table1.Fields[i].Value := qeSQL.Fields[i].Value;
          Table1.Post;
          qeSQL.Next;
        until qeSQL.Eof;
        SetLanguage(Table1);
      finally
        Table1.Close;
        Table1.EnableControls;
        qeSQL.EnableControls;
        Screen.Cursor := crDefault;
        ShowMessage('OK');
      end;
    end;
  end;
end;
Добавлено через 33 минуты
Вот ему хоть тресни. Но не более 16 колонок. Я просто даже попробовал свои колонки выводить вместо других. Он выводит все 252 тысячи.Неужели эти колонки где то жестко прописаны

Добавлено через 48 минут
Сорри я тут пропустил кое что. Он воспринимает 17 колонок. В исходном запросе их было 17

Добавлено через 6 минут
Вот еще вычитал про таблицы Paradox
- размер таблиц - 255 полей, 2000000 записей в таблице (реально меньше, так как лимит блокировок исчерпывается быстрее, реальное количество записей где-то около полумиллиона),
10800 Bytes максимальный размер записи (без Memo/Blob полей), 127 вторичных индексов на таблицу,
256 Mb максимум в Blob поле
Так что получается что 21 поле это еще не предел.
0
0 / 0 / 0
Регистрация: 18.09.2012
Сообщений: 32
30.11.2012, 12:33  [ТС] 4
Вобщем отвечу сам))) В самом запросе SQL когда тянется выборка, поля получаются очень длинные, поэтому необходимо ограничивать их через Cast
0
30.11.2012, 12:33
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
30.11.2012, 12:33
Помогаю со студенческими работами здесь

select s odnoi table, and insert v drygyjy table
privet! mne nado sdelat backup s ASP.NET, kogda stirayt DB, no na vsaki slychay mne nado soxranit...

Как правильно сделать построчное чтение txt файла, чтобы потом эти данные выводились в теге <table></table>?
У меня есть файл file.txt: Саша 12 руб. Рома 76 руб. Петя 120 руб. Маша 234 руб. Я пытаюсь...

CDbCommand failed to execute the SQL statement: SQLSTATE[42S02]: Base table or view not found: 1146 Table doesn't exist
CDbException CDbCommand failed to execute the SQL statement: SQLSTATE: Base table or view not...

Очистка переменной(до <table> и после </table>)
Нужно удалить все данные до тега &lt;table&gt; и после &lt;/table&gt;. Нашел такую функцию как...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Новые блоги и статьи
Книги и учебные ресурсы по C#
InfoMaster 08.01.2025
Базовые учебники и руководства Одной из лучших книг для начинающих является "C# 10 и . NET 6 для начинающих" Эндрю Троелсена и Филиппа Джепикса . Книга последовательно раскрывает основные концепции. . .
Что такое NullReferenceEx­­­ception и как исправить?
InfoMaster 08.01.2025
NullReferenceException - одно из самых распространенных исключений, с которым сталкиваются разработчики на C#. Это исключение возникает при попытке обратиться к членам объекта (методам, свойствам или. . .
Что такое Null Pointer Exception (NPE) и как это исправить?
InfoMaster 08.01.2025
Null Pointer Exception (NPE) - это одно из самых распространенных исключений в Java, которое возникает при попытке использовать ссылку на объект, значение которой равно null. Это исключение относится. . .
Русский язык в консоли C++
InfoMaster 08.01.2025
При разработке программ на C++ одной из частых проблем, с которой сталкиваются русскоязычные программисты, является корректное отображение кириллицы в консольных приложениях. Эта проблема особенно. . .
Telegram бот на C#
InfoMaster 08.01.2025
Разработка ботов для Telegram стала неотъемлемой частью современной экосистемы мессенджеров. C# предоставляет мощный и удобный инструментарий для создания разнообразных ботов, от простых. . .
Использование GraphQL в Go (Golang)
InfoMaster 08.01.2025
Go (Golang) является одним из наиболее популярных языков программирования, используемых для создания высокопроизводительных серверных приложений. Его архитектурные особенности и встроенные. . .
Что лучше использовать при создании класса в Java: сеттеры или конструктор?
Alexander-7 08.01.2025
Вопрос подробнее: На вопрос: «Когда одновременно создаются конструктор и сеттеры в классе – это нормально?» куратор уточнил: «Ваш класс может вообще не иметь сеттеров, а только конструктор и геттеры. . .
Как работать с GraphQL на TypeScript
InfoMaster 08.01.2025
Введение в GraphQL и TypeScript В современной разработке веб-приложений GraphQL стал мощным инструментом для создания гибких и эффективных API. В сочетании с TypeScript, эта технология. . .
Счётчик на базе сумматоров + регистров и генератора сигналов согласования.
Hrethgir 07.01.2025
Создан с целью проверки скорости асинхронной логики: ранее описанного сумматора и предополагаемых fast регистров. Регистры созданы на базе ранее описанного, предполагаемого fast триггера. То-есть. . .
Как перейти с Options API на Composition API в Vue.js
BasicMan 06.01.2025
Почему переход на Composition API актуален В мире современной веб-разработки фреймворк Vue. js продолжает эволюционировать, предлагая разработчикам все более совершенные инструменты для создания. . .
Архитектура современных процессоров
inter-admin 06.01.2025
Процессор (центральный процессор, ЦП) является основным вычислительным устройством компьютера, которое выполняет обработку данных и управляет работой всех остальных компонентов системы. Архитектура. . .
История создания реляционной модели баз данных, правила Кодда
Programming 06.01.2025
Предпосылки создания реляционной модели В конце 1960-х годов компьютерная индустрия столкнулась с серьезными проблемами в области управления данными. Существовавшие на тот момент модели данных -. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru