Ошибка сортировки в Delphi 64bit поля Decimal

@DimonRX · Регистрация: 04.12.2018

Author24 — интернет-сервис помощи студентам

Всем привет! Спецы Delphi и MySQL нужна ваша помощь)

Имеется: Delphi XE8 + dbExpress + старенький сервер Mysql v5.0.45 win32 + база MyISAM и в таблице поле DECIMAL(5,2) со знаком.
Таблица храниться как:
Charset cp1251
Collation: cp1251_general_ci

В Delphi использую TSQLConnection + TDataSource + TSimpleDataSet
TSQLConnection в параметрах прописал ServerCharSet cp1251

Из таблицы делается простой Select и сортировка по полю DECIMAL. Пока программа компилировалась как 32-разрядная, все работало. Однако пришлось переделать ее под 64 бита и сразу же вылезла неприятная ошибка - перестала работать сортировка по этому полю. Если программу снова пересобрать под 32 - сортировка работает.

То есть ошибка только в 64 разрядной программе. Опытным путем было установлено, что положительные числа сортирует правильно:
2.25
2.5
2.75
Однако числа со знаком отказываются сортироваться
-0.25
0.25
-0.5
0.5
и тд

Тип DECIMAL(5,2) выбрал потому, что очень важна точность. Число 2.75 так и должно храниться в базе и не искажаться. На данный момет я не понимаю, где случается засада. Тип DECIMAL(5,2) хранится как строка, переведя программу под 64 разряда я изменил ее представление в программе, но не ясно где проблема:
- TSQLConnection + TDataSource + TSimpleDataSet?
- проблема во взаимодействии клиента с сервером, кодировки, правила сравнения для кодировки?

Можно все порешать переведя поле во FLOAT, но я переживаю из-за потери точности, хотелось бы решить проблему с сортировкой DECIMAL

@krapotkin · 04.12.2018, 20:56

а как сортировка-то задается?
через ORDER BY ?

@DimonRX · 04.12.2018, 21:12 **[ТС]**

Сорри, самое главное забыл)
Да, запрос совсем простой:
select * table order by field
field - DECIMAL(5,2) со знаком
В 32-ух разрядной программе все работало, в 64 разрядной выдает такое:
0
-0.25
0.25
-0.5
-0.75
-1
То есть перестает знак учитывать. Я больше склоняюсь к ошибке при взаимодействии клиента и сервера, только не ясно куда копать.

@xxbesoxx · 04.12.2018, 22:11

Сообщение от DimonRX

только не ясно куда копать.

Подключить к серверу без Delphi и проверять запрос

@DimonRX · 04.12.2018, 22:29 **[ТС]**

Заюзал MySQL Query Browser, запрос отработал корректно. Но этот MySQL Query Browser 32-ух разрядный. Если я свою прогу сейчас перекомпилю в 32-разряда - она тоже снова заработает. Через какую 64-ех разрядную программу протестить можно? Или все таки переехать на MySQL версии 5.1 64-разрядную и там будут утилиты тоже 64 бит?

@xxbesoxx · 04.12.2018, 22:39

Сообщение от DimonRX

Заюзал MySQL Query Browser, запрос отработал корректно. Но этот MySQL Query Browser 32-ух разрядный

Проверять надо из 64 битного ПК - из mysql workbench 64-ух разрядный. https://www.mysql.com/products/workbench/

@DimonRX · 04.12.2018, 22:42 **[ТС]**

ПК 64 битный, MySQL Query Browser 64-ух разрядный попрубую поискать, спасибо за наводку

Стоит ли делать такое?
1. Проапгрейдить мускул до mysql-essential-5.1.72-winx64.msi Сервер будет тоже 64 бит, как и моя программа
2. Переконвертировать всю базу в utf-8. Думаю сделать через dump, руками поменять кодирувку и collation и снова залить
3. Все взаимодействие клиент-сервер перевести на utf-8
character_set_client - utf8
character_set_connection - utf8
character_set_database - utf8
character_set_results - utf8
character_set_server - utf8
character_set_system - utf8
collation_connection - utf8_general_ci
collation_database - utf8_general_ci
collation_server - utf8_general_ci

@xxbesoxx · 04.12.2018, 22:48

Сообщение от DimonRX

MySQL Query Browser 64-ух разрядный попрубую поискать,

Через MySQL Workbench 8.0.13 проверяй https://dev.mysql.com/downloads/workbench/ кодировка лучше на utf8 да

Добавлено через 1 минуту
и ещё лучше если будите подключить через MyDAC

@qwertehok · 05.12.2018, 07:52

а такое не поможет?

DECIMAL[(M[,D])] [UNSIGNED] [ZEROFILL]

``Неупакованное'' число с плавающей точкой. Ведет себя подобно столбцу CHAR, содержащему цифровое значение. Термин ``неупакованное'' означает, что число хранится в виде строки и при этом для каждого десятичного знака используется один символ. Разделительный знак десятичных разрядов, а также знак ‘-’ для отрицательных чисел не учитываются в M (но место для них зарезервировано). Если атрибут D равен 0, величины будут представлены без десятичного знака, т.е. без дробной части. Максимальный интервал значений типа DECIMAL тот же, что и для типа DOUBLE, но действительный интервал для конкретного столбца DECIMAL может быть ограничен выбором значений атрибутов M и D. Если указан атрибут UNSIGNED, отрицательные значения недопустимы. Если атрибут D не указан, его значение по умолчанию равно 0. Если не указан M, его значение по умолчанию равно 10. В более ранних, чем MySQL 3.23, версиях аргумент M должен содержать в себе место для знака числа и десятичного знака.

из справки по типу DECIMAL

@DimonRX · 05.12.2018, 13:10 **[ТС]**

MySQL Workbench 8.0.13 с моим сервером работать отказался, поставил MySQL Workbench 6.2 64bits, он при старте ругается, что нужен мускул хотя бы 5.1, но запускается. Запрос отработал корректно. То есть дело в программе.

В Delphi обнаружил FireDAC, кинул на форму FDConnection + FDQuery и запрос тоже работает, то есть дело в dbExpress.

Выбросил TSimpleDataSet, взял просто TSQLQuery и он тоже отработал норм. Проблема локализовалась в TSimpleDataSet. Он кеширует данные в памяти, создает двунаправленный курсор. Когда я перевел прогу под 64 бита, он стал как то по другому кешировать данные и вот вылезла проблема.

qwertehok, похоже действительно в этом проблема. Потому что вот еще из справки, но уже для мускула 5.5:

Values for DECIMAL columns are stored using a binary format that packs nine decimal digits into 4 bytes. The storage requirements for the integer and fractional parts of each value are determined separately. Each multiple of nine digits requires 4 bytes, and any remaining digits left over require some fraction of 4 bytes. The storage required for remaining digits is given by the following table.

То есть получается, в версии мускула 5.5 DECIMAL теперь хранится не как строка, а как 2 числа. А я все проблему в сравнении строк ищу))
У меня сервер старый 5.0, а Delphi и dbExpress относительно новые
Delphi XE8 + Dbxmys.dll 22.0.19908.869
Видимо драйвер dbExpress слишком новый и не понимает старый мускул.

Может можно нарыть где в инете старый Dbxmys.dll, который был под сервер 5.1 написан и пока его заюзать? А потом уже не спеша проапгрейдить мускул до 5 версий

Добавлено через 7 минут
Проапгрейдить мускул до 5.5 версии

@DimonRX 0 / 0 / 0 Регистрация: 04.12.2018 Сообщений: 5
		1
	MySQL Ошибка сортировки в Delphi 64bit поля Decimal 04.12.2018, 19:37. Показов 1064. Ответов 9 Метки нет (Все метки) Всем привет! Спецы Delphi и MySQL нужна ваша помощь) Имеется: Delphi XE8 + dbExpress + старенький сервер Mysql v5.0.45 win32 + база MyISAM и в таблице поле DECIMAL(5,2) со знаком. Таблица храниться как: Charset cp1251 Collation: cp1251_general_ci В Delphi использую TSQLConnection + TDataSource + TSimpleDataSet TSQLConnection в параметрах прописал ServerCharSet cp1251 Из таблицы делается простой Select и сортировка по полю DECIMAL. Пока программа компилировалась как 32-разрядная, все работало. Однако пришлось переделать ее под 64 бита и сразу же вылезла неприятная ошибка - перестала работать сортировка по этому полю. Если программу снова пересобрать под 32 - сортировка работает. То есть ошибка только в 64 разрядной программе. Опытным путем было установлено, что положительные числа сортирует правильно: 2.25 2.5 2.75 Однако числа со знаком отказываются сортироваться -0.25 0.25 -0.5 0.5 и тд Тип DECIMAL(5,2) выбрал потому, что очень важна точность. Число 2.75 так и должно храниться в базе и не искажаться. На данный момет я не понимаю, где случается засада. Тип DECIMAL(5,2) хранится как строка, переведя программу под 64 разряда я изменил ее представление в программе, но не ясно где проблема: - TSQLConnection + TDataSource + TSimpleDataSet? - проблема во взаимодействии клиента с сервером, кодировки, правила сравнения для кодировки? Можно все порешать переведя поле во FLOAT, но я переживаю из-за потери точности, хотелось бы решить проблему с сортировкой DECIMAL 0

@krapotkin 5868 / 4596 / 1448 Регистрация: 14.04.2014 Сообщений: 20,393 Записей в блоге: 20
	04.12.2018, 20:56	2
	а как сортировка-то задается? через ORDER BY ? 0

@DimonRX 0 / 0 / 0 Регистрация: 04.12.2018 Сообщений: 5
	04.12.2018, 21:12 [ТС]	3
	Сорри, самое главное забыл) Да, запрос совсем простой: select * table order by field field - DECIMAL(5,2) со знаком В 32-ух разрядной программе все работало, в 64 разрядной выдает такое: 0 -0.25 0.25 -0.5 -0.75 -1 То есть перестает знак учитывать. Я больше склоняюсь к ошибке при взаимодействии клиента и сервера, только не ясно куда копать. 0

@xxbesoxx 1135 / 616 / 129 Регистрация: 13.02.2009 Сообщений: 3,566
	04.12.2018, 22:11	4
	Сообщение от DimonRX только не ясно куда копать. Подключить к серверу без Delphi и проверять запрос 0

@DimonRX 0 / 0 / 0 Регистрация: 04.12.2018 Сообщений: 5
	04.12.2018, 22:29 [ТС]	5
	Заюзал MySQL Query Browser, запрос отработал корректно. Но этот MySQL Query Browser 32-ух разрядный. Если я свою прогу сейчас перекомпилю в 32-разряда - она тоже снова заработает. Через какую 64-ех разрядную программу протестить можно? Или все таки переехать на MySQL версии 5.1 64-разрядную и там будут утилиты тоже 64 бит? 0

@xxbesoxx 1135 / 616 / 129 Регистрация: 13.02.2009 Сообщений: 3,566
	04.12.2018, 22:39	6
	Сообщение от DimonRX Заюзал MySQL Query Browser, запрос отработал корректно. Но этот MySQL Query Browser 32-ух разрядный Проверять надо из 64 битного ПК - из mysql workbench 64-ух разрядный. https://www.mysql.com/products/workbench/ 0

@DimonRX 0 / 0 / 0 Регистрация: 04.12.2018 Сообщений: 5
	04.12.2018, 22:42 [ТС]	7
	ПК 64 битный, MySQL Query Browser 64-ух разрядный попрубую поискать, спасибо за наводку Стоит ли делать такое? 1. Проапгрейдить мускул до mysql-essential-5.1.72-winx64.msi Сервер будет тоже 64 бит, как и моя программа 2. Переконвертировать всю базу в utf-8. Думаю сделать через dump, руками поменять кодирувку и collation и снова залить 3. Все взаимодействие клиент-сервер перевести на utf-8 character_set_client - utf8 character_set_connection - utf8 character_set_database - utf8 character_set_results - utf8 character_set_server - utf8 character_set_system - utf8 collation_connection - utf8_general_ci collation_database - utf8_general_ci collation_server - utf8_general_ci 0

@xxbesoxx 1135 / 616 / 129 Регистрация: 13.02.2009 Сообщений: 3,566
	04.12.2018, 22:48	8
	Сообщение от DimonRX MySQL Query Browser 64-ух разрядный попрубую поискать, Через MySQL Workbench 8.0.13 проверяй https://dev.mysql.com/downloads/workbench/ кодировка лучше на utf8 да Добавлено через 1 минуту и ещё лучше если будите подключить через MyDAC 0

@qwertehok 5580 / 4430 / 1080 Регистрация: 29.08.2013 Сообщений: 27,707 Записей в блоге: 3
	05.12.2018, 07:52	9
	а такое не поможет? DECIMAL[(M[,D])] [UNSIGNED] [ZEROFILL] ``Неупакованное'' число с плавающей точкой. Ведет себя подобно столбцу CHAR, содержащему цифровое значение. Термин ``неупакованное'' означает, что число хранится в виде строки и при этом для каждого десятичного знака используется один символ. Разделительный знак десятичных разрядов, а также знак ‘-’ для отрицательных чисел не учитываются в M (но место для них зарезервировано). Если атрибут D равен 0, величины будут представлены без десятичного знака, т.е. без дробной части. Максимальный интервал значений типа DECIMAL тот же, что и для типа DOUBLE, но действительный интервал для конкретного столбца DECIMAL может быть ограничен выбором значений атрибутов M и D. Если указан атрибут UNSIGNED, отрицательные значения недопустимы. Если атрибут D не указан, его значение по умолчанию равно 0. Если не указан M, его значение по умолчанию равно 10. В более ранних, чем MySQL 3.23, версиях аргумент M должен содержать в себе место для знака числа и десятичного знака. из справки по типу DECIMAL 0

@DimonRX 0 / 0 / 0 Регистрация: 04.12.2018 Сообщений: 5
	05.12.2018, 13:10 [ТС]	10
	MySQL Workbench 8.0.13 с моим сервером работать отказался, поставил MySQL Workbench 6.2 64bits, он при старте ругается, что нужен мускул хотя бы 5.1, но запускается. Запрос отработал корректно. То есть дело в программе. В Delphi обнаружил FireDAC, кинул на форму FDConnection + FDQuery и запрос тоже работает, то есть дело в dbExpress. Выбросил TSimpleDataSet, взял просто TSQLQuery и он тоже отработал норм. Проблема локализовалась в TSimpleDataSet. Он кеширует данные в памяти, создает двунаправленный курсор. Когда я перевел прогу под 64 бита, он стал как то по другому кешировать данные и вот вылезла проблема. qwertehok, похоже действительно в этом проблема. Потому что вот еще из справки, но уже для мускула 5.5: Values for DECIMAL columns are stored using a binary format that packs nine decimal digits into 4 bytes. The storage requirements for the integer and fractional parts of each value are determined separately. Each multiple of nine digits requires 4 bytes, and any remaining digits left over require some fraction of 4 bytes. The storage required for remaining digits is given by the following table. То есть получается, в версии мускула 5.5 DECIMAL теперь хранится не как строка, а как 2 числа. А я все проблему в сравнении строк ищу)) У меня сервер старый 5.0, а Delphi и dbExpress относительно новые Delphi XE8 + Dbxmys.dll 22.0.19908.869 Видимо драйвер dbExpress слишком новый и не понимает старый мускул. Может можно нарыть где в инете старый Dbxmys.dll, который был под сервер 5.1 написан и пока его заюзать? А потом уже не спеша проапгрейдить мускул до 5 версий Добавлено через 7 минут Проапгрейдить мускул до 5.5 версии 0