Kaarthick Raman Ответов: 0

Как разбить таблицы athena на отдельные столбцы

У меня Афина таблицу с большим количеством столбцов, которое загружает данные из S3 ведро. Допустим, размер данных, хранящихся в таблице athena, составляет 1 ГБ .

Я хочу запросить данные таблицы на основе определенного идентификатора. таким образом, для N-го числа идентификаторов я должен сканировать N* 1 Гб объема данных.

Чтобы избежать этой ситуации и снизить затраты. Я хотел бы разбить таблицу на разделы на основе идентификатора имени столбца. 

CREATE EXTERNAL TABLE `newtable`(
  `abc` int, 
  `bcd` string, 
  `cde` int, 
  `def` int, 
  `efg` timestamp,  
  `egh` int)
PARTITIONED BY ( 
  `id` int)
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY ',' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://bucket/folder'


После создания таблицы с секционированием я загружаю все разделы. Когда я пытаюсь загрузить данные.
Он показывает, что никаких записей не найдено.

Что я уже пробовал:

MSCK REPAIR TABLE seatdata_cas;

0 Ответов