Member 13258163 Ответов: 2

Как включить WASB на hadoop 2.7.1

Я настроил одноузловой кластер hadoop (2.71.1) в windows 7 и теперь безуспешно пытаюсь установить его соединение с хранилищем Azure (wasb).

Я получаю ошибку:

Нет файловой системы для схемы: wasb

Я следил за несколькими блогами, но был сосредоточен на : articles/hadoopAndWasb.md at master · hning86/articles · GitHub[^]

Что я уже пробовал:

Мой core-site.xml похоже на это:
& lt;конфигурация>

< Недвижимость>
< имя>fs.default.name
< value> hdfs: / / localhost:50000


< Недвижимость>
< имя> fs.AbstractFileSystem.как wasb.Осущ
в <значение>В орг."Апач".в Hadoop.ПС.Лазурное.Как wasb


< Недвижимость>
< имя>fs.azure.account.key.My_Account_Name.blob.core.windows.net

< value>My_Key



Я добавил банки в hadoop_classpath var в hadoop-env. cmd, как показано ниже

набор HADOOP_CLASSPATH=C:/Users/rj145/Desktop/hadoop2.7/hadoop-2.7.0/share/hadoop/tools/lib/hadoop-azure-2.7.0.jar:C:/Users/rj145/Desktop/hadoop2.7/hadoop-2.7.0/share/hadoop/tools/lib/azure-storage-2.0.0.jar:$HADOOP_CLASSPATH

2 Ответов

Рейтинг:
1

Eshika Roy 

First you need to follow some steps for enable WASB on Hadoop

•	We need to create an account on windows azure.
•	Than take service 
•	Than we need to implement Hadoop.

Follow this to better understanding:
https://blogs.msdn.microsoft.com/cindygross/2015/02/04/understanding-wasb-and-hadoop-storage-in-azure/

Рейтинг:
1

Leviya bl

привет
вот пошаговый процесс

[^]WASB автоматически включается в кластерах HDInsight. Но вы также можете подключить учетную запись хранения blob-объектов вручную к [^] Экземпляр администрирования Hadoop, который живет где угодно, пока у него есть доступ в Интернет к хранилищу blob-объектов. Вот несколько шагов,:

Я предполагаю, что у вас есть стандартный дистрибутив Apache Hadoop 2.7.1, установленный в каталоге /usr/local/hadoop на коробке Linux.

#Шаг 1. Убедитесь,что ваша версия Hadoop должна быть 2.7.1 или более поздней.

/usr/local/hadoop/bin / версия hadoop

#Шаг 2. Убедитесь, что у вас есть эти 2 jar-файла в вашей установке hadoop.

ЛС /usr/local/hadoop/share/hadoop/tools/lib/hadoop-azure-2.7.1.jar
ЛС /usr/local/hadoop/share/hadoop/tools/lib/azure-storage-2.0.0.jar

# Шаг 3. Изменение hadoop-env.sh изменить $HADOOP_HOME/etc/hadoop/hadoop-env.sh файл, чтобы добавить эти 2 jar-файла в Hadoop classpath в конце файла.

экспорт HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/hadoop/share/hadoop/tools/lib/hadoop-azure-2.7.1.jar:/usr/local/hadoop/share/hadoop/tools/lib/azure-storage-2.0.0.jar

# Шаг 4. Изменение core-site.xml изменить $HADOOP_HOME/etc/hadoop/core-site.xml файл для добавления этих пар имя-значение в конфигурацию, чтобы указать на хранилище blob-объектов.

< Недвижимость>
< имя> fs.AbstractFileSystem.wasb. Impl< / name>
в <значение>В орг."Апач".в Hadoop.ПС.Лазурное.Wasb< / value>
< / Недвижимость>

< Недвижимость>
в <имя>ПС.Лазурное.счета.ключ.my_blob_account_name.BLOB-объектов.ядро.окна.чистый&ЛТ;/имя>
в <значение>У my_blob_account_key в< значение&ГТ;
< / Недвижимость>

<!-- дополнительно установите файловую систему по умолчанию в контейнер -->
< Недвижимость>
в <имя>ПС.defaultFS&ЛТ;/имя>
< значение>wasb://my_container_name@my_blob_account_name.blob.core.windows.net< / значение>
< / Недвижимость>
Если вы не хотите раскрывать свой ключ учетной записи хранения в core-site.xml. Вы также можете зашифровать его. Подробнее читайте здесь.

# Шаг 5. проверьте соединение.

/usr/местные/Hadoop в качестве/bin/Hadoop с ФС -ЛС как wasb:///
/usr/местные/Hadoop в качестве/bin/Hadoop с ФС -ЛС wasb://my_container_name@my_blob_account_name.blob.core.windows.net
/usr/local/hadoop/bin/hadoop fs -ls / # если файловая система по умолчанию установлена на wasb