Jackie Lloyd Ответов: 1

Если я получаю доступ к данным через spark, могу ли я контролировать доступ к таблице базы данных на уровне столбцов с помощью impala

Не мог бы кто-нибудь помочь мне с этим запросом :).

Мы используем Impala для запроса данных, а Sentry-для ограничения доступа к данным на уровне столбцов.

Мы используем Spark для написания кода для запроса данных, хранящихся в файлах. Насколько я понимаю, роли Sentry не могут контролировать доступ на уровне столбцов при использовании с Spark. Однако было высказано предположение, что существует способ использования Spark с Impala, позволяющий писать код для доступа к данным через Spark, но при этом применять роли Sentry для управления доступом на уровне столбцов. Это правильно, потому что я нигде не могу найти никакой информации об этом.

Что я уже пробовал:

На данный момент это теоретический вопрос, я пытался искать информацию, но ничего не нашел.

1 Ответов

Рейтинг:
8

Kornfeld Eliyahu Peter

Impala и Spark-это два отдельных SQL - движка для использования с Hadoop... Один не может использовать функции от другого!!!
Итак, нет, если вы используете Импалу, нет никакой искры, если вы используете искру, нет никакой Импалы...

Jackie Lloyd

Большое вам спасибо за ответ. Знаете ли вы, есть ли какой-либо способ контролировать доступ к данным на уровне столбцов или строк при доступе к данным через Spark?

Kornfeld Eliyahu Peter

Никогда этого не делал, но легко находил подходящие предметы - по крайней мере, на поверхности...
Сделайте поиск в Google...
https://hortonworks.com/blog/row-column-level-control-apache-spark/

Jackie Lloyd

Это здорово, спасибо, я искал такую статью, но не нашел ее, должно быть, искал с неправильными ключевыми словами, поэтому предположил, что контроль доступа на уровне столбцов невозможен с помощью Spark.