Обновление данных в базе

@madace · Регистрация: 02.06.2015

Author24 — интернет-сервис помощи студентам

Добрый день!
я полный новичок в c# и SQLite поэтому прошу не пинать больно....

В моем проекте есть необходимость обновлять данные в таблице из csv файлов
попытка импортировать построчно через команду insert не устраивает из-за низкой производительности - аналогичный объем данных в экселе сохраняется в 30 раз быстрее.
поэтому есть несколько вопросов :
1. прав ли я в предположении, что возможно залинковать таблицу базы и dataset и загрузить данные из файла прямо в dataset и обновить базу таким образом?
2. если да, то будет ли такой способ быстрее?
3. как лучше всего реализовать случай, если в импортируемом файле файле часть строк надо обновить, а часть вставить? (например : таблица содержит данные за период с 01.01.2015 по 1.05.2015, а файл содержит с1.03.2015 по 1.06.2015) (данные совпадающими датами надо перезаписать из файла)

Заранее благодарен!

@wm_leviathan · 04.06.2015, 16:05

Сообщение от madace

прав ли я в предположении, что возможно залинковать таблицу базы и dataset и загрузить данные из файла прямо в dataset и обновить базу таким образом?

не совсем заносишь данные из csv в отдельный dataset потом его добавляем к основному.

Сообщение от madace

если да, то будет ли такой способ быстрее?

1й вообще не могу назвать как способ

Сообщение от madace

как лучше всего реализовать случай, если в импортируемом файле файле часть строк надо обновить, а часть вставить?

в момент добавления из dataseta'a csv файла брать значение периода и проверять эту дату с датой основного dataset'a если попала то обновлять иначе добавлять. (тут можно в цикле делать это, точнее это будет цикл в цикле (при большом объеме данных скорость будет в разы падать) либо LINQ'ом)
не csv конечно но импорт из xls и добавление к существующему dataset'у я описывал подробно тут Trouble с импортом данных из Excel файла на форму, которая связана с БД и помоему даже тестовый проект приводил, я не вижу проблем исправить импорт вместо экселя из csv, и там и там технология OleDb.

@madace · 05.06.2015, 10:14 **[ТС]**

Спасибо большое, попробую переделать...

вот нарыл такое в интернете - очень интересно будет попробовать воплотить у себя : http://stackoverflow.com/quest... qlite?rq=1

подскажите плиз, как в таком решении грамотно отделить данные, которые надо апдейтить от данных, которые надо вставлять? в файлах, которые мне надо обработать около миллиона записей, так что я ищу изящное и производительное решение
Заранее благодарен...

@madace 0 / 0 / 1 Регистрация: 02.06.2015 Сообщений: 12
		1
	Обновление данных в базе 03.06.2015, 14:17. Показов 920. Ответов 2 Метки нет (Все метки) Добрый день! я полный новичок в c# и SQLite поэтому прошу не пинать больно.... В моем проекте есть необходимость обновлять данные в таблице из csv файлов попытка импортировать построчно через команду insert не устраивает из-за низкой производительности - аналогичный объем данных в экселе сохраняется в 30 раз быстрее. поэтому есть несколько вопросов : 1. прав ли я в предположении, что возможно залинковать таблицу базы и dataset и загрузить данные из файла прямо в dataset и обновить базу таким образом? 2. если да, то будет ли такой способ быстрее? 3. как лучше всего реализовать случай, если в импортируемом файле файле часть строк надо обновить, а часть вставить? (например : таблица содержит данные за период с 01.01.2015 по 1.05.2015, а файл содержит с1.03.2015 по 1.06.2015) (данные совпадающими датами надо перезаписать из файла) Заранее благодарен! 0

@wm_leviathan 214 / 214 / 73 Регистрация: 12.01.2011 Сообщений: 767
	04.06.2015, 16:05	2
	Сообщение от madace прав ли я в предположении, что возможно залинковать таблицу базы и dataset и загрузить данные из файла прямо в dataset и обновить базу таким образом? не совсем заносишь данные из csv в отдельный dataset потом его добавляем к основному. Сообщение от madace если да, то будет ли такой способ быстрее? 1й вообще не могу назвать как способ Сообщение от madace как лучше всего реализовать случай, если в импортируемом файле файле часть строк надо обновить, а часть вставить? в момент добавления из dataseta'a csv файла брать значение периода и проверять эту дату с датой основного dataset'a если попала то обновлять иначе добавлять. (тут можно в цикле делать это, точнее это будет цикл в цикле (при большом объеме данных скорость будет в разы падать) либо LINQ'ом) не csv конечно но импорт из xls и добавление к существующему dataset'у я описывал подробно тут Trouble с импортом данных из Excel файла на форму, которая связана с БД и помоему даже тестовый проект приводил, я не вижу проблем исправить импорт вместо экселя из csv, и там и там технология OleDb. 0

@madace 0 / 0 / 1 Регистрация: 02.06.2015 Сообщений: 12
	05.06.2015, 10:14 [ТС]	3
	Спасибо большое, попробую переделать... вот нарыл такое в интернете - очень интересно будет попробовать воплотить у себя : http://stackoverflow.com/quest... qlite?rq=1 подскажите плиз, как в таком решении грамотно отделить данные, которые надо апдейтить от данных, которые надо вставлять? в файлах, которые мне надо обработать около миллиона записей, так что я ищу изящное и производительное решение Заранее благодарен... 0