Более быстрая обработка данных.
Привет,
в настоящее время я работаю над проектом telcom, где мне нужно обработать несколько hundered cdr-файлов в minitue( cdr-это текстовый файл, содержащий подробную информацию\
связанные с вызовом в формате, разделенном запятыми.каждая строка представляет каждый вызов.большая часть файла содержит до 8k строк).мы должны обработать каждую строку(форматирование, рейтинг и т. д.) и вставить эти значения в таблицу. мы использовали
c# for for the front end и sql for back end processing. everything working fine for a few hundered cdr files per minitue..but as per the current requiremnt we have to process a few thousand files at time. n наш текущий процесс терпит неудачу
ужасно.
так есть ли какая-либо альтернатива для более быстрой обработки данных?я слышал о больших данных (hadoop). но cdrs-это идеально структурированные данные.что не является идеальным случаем для приложений больших данных.пожалуйста, предложите любые другие альтернативы..
Что я уже пробовал:
я попытался изменить его на массовую вставку, но это не сработало, потому что таблица,в которую мы вставляем данные, также используется другими службами(например, службой отчетов), поэтому мы не можем заблокировать таблицу более чем на 100 мс
Mehdi Gholam
Во-первых, измерьте, что такое горлышко бутылки, рассчитывая каждый шаг.
Patrice T
Вам нужно будет показать код, который обрабатывает ваши данные.