IsiR_19 Ответов: 1

Как мне оптимизировать свой VB.NET импорт csv


Привет Ребята

Я хотел бы знать, как лучше всего обрабатывать импорт csv-файлов с большими строками данных(между ними 200 000 - 1 200 000 записи).

Первоначально, когда я построил модуль, файлы выросли примерно до 20 000 записей.

В настоящее время я использую textfield passer, а затем при чтении каждой записи добавляю запись в объект и добавляю объект в базу данных.

Проблема заключается в том, что при более крупном импорте, как сейчас, импорт занимает более 15-20 минут. который мне теперь нужно оптимизировать

Я использую базу данных oralce

Что я уже пробовал:

То, что я сейчас попробовал, - это чтение записей в datatable, а затем попытка массовой вставки datatable, просто хотелось бы знать, есть ли лучший способ обработки массового импорта

Mehdi Gholam

Покажите свой код.

Sinisa Hajnal

Вы могли бы попытаться разделить файл на несколько связанных файлов и запустить потоки импорта параллельно?

1 Ответов

Рейтинг:
0

#realJSOP

Посмотрите на мою недавнюю статью. Это должно быть довольно просто преобразовать в VB.Net.

Парсер CSV файлов[^]

Вы также можете просто поместить его в сборку DLL и вызвать из своего приложения VB.

Что касается массовых вставок, я бы написал хранимую процедуру и отправлял записи по одной. Так будет быстрее.