Как мне оптимизировать свой VB.NET импорт csv
Привет Ребята
Я хотел бы знать, как лучше всего обрабатывать импорт csv-файлов с большими строками данных(между ними 200 000 - 1 200 000 записи).
Первоначально, когда я построил модуль, файлы выросли примерно до 20 000 записей.
В настоящее время я использую textfield passer, а затем при чтении каждой записи добавляю запись в объект и добавляю объект в базу данных.
Проблема заключается в том, что при более крупном импорте, как сейчас, импорт занимает более 15-20 минут. который мне теперь нужно оптимизировать
Я использую базу данных oralce
Что я уже пробовал:
То, что я сейчас попробовал, - это чтение записей в datatable, а затем попытка массовой вставки datatable, просто хотелось бы знать, есть ли лучший способ обработки массового импорта
Mehdi Gholam
Покажите свой код.
Sinisa Hajnal
Вы могли бы попытаться разделить файл на несколько связанных файлов и запустить потоки импорта параллельно?