LearningSpark Ответов: 1

Spark scala-подсчет четных чисел из файла


Всем Привет,

Я новичок в мире больших данных.нужна помощь УРА, чтобы сделать его реальным.вот мой вопрос
Я читаю данные из txt-файла(1,2,3,4,4,4,4)

var file=sc.textFile("file:///home/cloudera/MyData/Lab1/numbers.txt")
var number=файл.flatMap(line=>line.split(","))
var intNumbers=number.map(num=>num.toInt)//ошибка
intNumbers.собирать()
java.lang.NumberFormatException: для входной строки: ""

ошибка возникает из-за того, что последний элемент массива не может быть преобразован в Int

Пожалуйста, помогите в этом
заранее спасибо.


С уважением,
Обучающая Искра

Что я уже пробовал:

добавлены данные в файл типа (1,2,3,4,4,4,4,)
но все равно показывает ту же ошибку
Array[String] = Массив(1,2,3,4,5,6,4,4,4,4,, "")

1 Ответов

Рейтинг:
1

Richard MacCutchan

Данные содержат элемент, который не является числом, поэтому вам нужно удалить его из списка, прежде чем пытаться преобразовать.