memcache @wiki
-
Hadoop
SummaryClouderas Distribution for Hadoop (CDH)HDFSMasterNode構築yumによるバイナリのインストールhadoop.tmp.dir, dfs.*.dirの準備設定ファイル作成hdfsユーザパスワード設定とファイルシステムフォーマットHDFSを複数ユーザで利用可能にするDataNode構築yumによるバイナリのインストールHDFS動作確認運用トラブル対応log4jのエラー出力HBaseZooKeeper Server構築yumによるバイナリのインストール設定ファイル作成(/etc/zookeeper/zoo.cfg, /var/zookeeper/myid)HBaseMaster構築yumによるバイナリのインストール設定ファイル作成(hbase-site.xml)regionserversの作成ZooKeeper Client設定ファイル作成(zoo.cfg)HDFS上のHBase用ディレクトリ作成HRegionServer構築yumによるバイナリのインストールHBase動作確認linkOffical系linkOffical系日本語訳SummaryHadoopのプロジェクトProject説明HDFS高いスループットを保ちつつ、同時に信頼性を追求した分散ファイルシステムMapReduceクラスタ環境で並列分散処理を行うためのフレームワークHiveHadoopでの操作を容易にするためのSQL的なインターフェイスPingHadoopでの操作データフローで記述するスクリプト言語風インターフェースSqoopDBMSとHadoopの間のデータ移行を実現するHBase巨大なテーブルを管理するために、拡張性を追求したKey-Value StoreZooKeeper分散クラスタ環境上で動作させるアプリケーションを集中管理するためのプロダクトClouderas Distribution for Hadoop (CDH)ユーザ（必要に応じてパスワードを変更すること）：ユーザ役割hdfsNameNode, SecondaryNameNode, DataNodeを管理するユーザmapredJobTracker, TaskTrackerを管理するユーザ主要なインストール先ディレクトリ（"rpm -ql hadoop-0.20"の実行結果）：項目インストール先Hadoop ラッパースクリプト/usr/bin/hadoop-0.20Hadoop 設定ファイル/etc/hadoop-0.20/conf/*HadoopJarとライブラリファイル($HADOOP_HOME)/usr/lib/hadoop-0.20/*Hadoop ログファイル/var/log/hadoop-0.20/*HadoopManページ/usr/share/man/*Hadoopサービススクリプト/etc/init.d/hadoop-0.20-* link http//www.cloudera.co.jp/HDFSHDFSは1台のMasterNodeと複数のDataNodeから構成させる。HDFSの設定ファイル：/etc/hadoop/conf/filedescriptiondefined parameterscore-site.xmlHadoop共通の設定fs.default.name, hadoop.tmp.dirhdfs-site.xmlHDFSの挙動の設定dfs.name.dir, dfs.data.dir, dfs.replication, dfs.replication.min, dfs,safemode.threshold.pctmastersSecondaryNameNodeの指定（FQDN or IP addressによる指定）slavesDataNodeの指定（FQDN or IP addressによる指定）Hadoop共通の設定パラメタ：core-site.xmlparametersdescriptionfs.default.nameHadoopで使用するファイルシステムを設定。デフォルトではローカルファイルシステムを利用する。HDFSを使用する場合はhdfs//というスキーマで始まるURIを設定する。hadoop.tmp.dirHDFSだけでなく、MapReduceやクライアントプログラムが一時的に使用するファイルを格納するディレクトリを指定。HDFSの設定パラメタ：hdfs-site.xmlparametersdescriptiondfs.name.dirNameNodeが管理するデータ(fsimageやedits)を格納するディレクトリdfs.data.dirDataNodeが管理するブロックなどを格納するディレクトリdfs.replication目標のレプリケーション数。HDFSはこのレプリケーション数を維持しようとするdfs.replication.minセーフモードから離脱するための最小レプリケーション数。HDFSの書き込みは、最小レプリケーション数までブロックが書き込まれた時点で成功となる。HDFSは起動時に全てのブロック内dfs.safemode.thresholdで示される割合のブロックが最小レプリケーション数に達した時点でSafeモードから離脱可能となるdfs.safemode.threshold.pctHDFSがSafeモードから離脱するめに必要な全ブロックに対するレプリケーション数の割合MasterNode構築手順は以下の通り。 yumによるバイナリのインストール hadoop.tmp.dir, dfs.*.dirの準備 設定ファイル作成 hdfsユーザパスワード設定とファイルシステムフォーマットyumによるバイナリのインストール$ sudo yum install hadoop-0.20-namenode.noarch================================================================================== Package アーキテクチャ バージョン リポジトリー 容量==================================================================================インストール中 hadoop-0.20-namenode noarch 0.20.2+923.256-1 cloudera-cdh3 3.7 k依存性関連でのインストールをします binutils x86_64 2.21.53.0.1-6.fc16 updates 3.5 M hadoop-0.20 noarch 0.20.2+923.256-1 cloudera-cdh3 30 M patch x86_64 2.6.1-9.fc16 fedora 91 k pax x86_64 3.4-12.fc16 fedora 69 k perl-Class-ISA noarch 0.36-1006.fc16 updates 8.2 k perl-Locale-Codes noarch 3.21-1.fc16 updates 308 k redhat-lsb x86_64 4.0-7.1.fc16 updates 25 kトランザクションの要約==================================================================================インストール 1 パッケージ (+7 依存するパッケージ)総ダウンロード容量 34 Mインストール済み容量 66 Mこれでいいですか? [y/N]yhadoop.tmp.dir, dfs.*.dirの準備以下のスクリプトを実行して、/hadoopと/dataを作成する。#!/bin/shsudo mkdir /hadoopsudo chown hdfshadoop /hadoopsudo chmod 777 /hadoopsudo mkdir -p /data/dfs/name /data/dfs/datasudo chown -R hdfshadoop /data/dfs/name /data/dfs/datasudo chmod -R 700 /data/dfs/name/sudo chmod -R 755 /data/dfs/data/#mkdir -p /data/mapred/local#chown -R mapredhadoop /data/mapred/local/#chmod 755 /data/mapred/local/設定ファイル作成SecondaryNameNodeを利用しないのであれば作成するファイルは以下の通り。 core-site.xml hdfs-site.xml slavesCDHでは/etc/hadoop-0.20/confをコピーして設定ファイルを修正した後、alternativesコマンドで設定ファイルを登録する。$ sudo cp /etc/hadoop-0.20/conf /etc/hadoop-0.20/conf.customized$ sudo alternatives --install /etc/hadoop-0.20/conf hadoop-0.20-conf /etc/hadoop-0.20/conf.customized 50サンプルは以下の通り。core-site.xml?xml version="1.0"??xml-stylesheet type="text/xsl" href="configuration.xsl"?!-- Put site-specific property overrides in this file. --configuration property namehadoop.tmp.dir/name value/hadoop/value /property property namefs.default.name/name valuehdfs//HDFS_MASTER_HOST54310/value /property/configurationhdfs-site.xml?xml version="1.0"??xml-stylesheet type="text/xsl" href="configuration.xsl"?!-- Put site-specific property overrides in this file. --configuration property namedfs.name.dir/name value/data/dfs/name/value /property property namedfs.data.dir/name value/data/dfs/data/value /property/configurationslavesslave1_fqdn_or_ipslave2_fqdn_or_ipslave3_fqdn_or_iphdfsユーザパスワード設定とファイルシステムフォーマットhdfsユーザパスワード設定の後、HDFSのフォーマットを行う。SOMEONE$ sudo passwd hdfsSOMEONE$ su - hdfshdfs$ hadoop namenode -formatHDFSを複数ユーザで利用可能にするnamenode, datanodeサービス起動後、以下のコマンドを実行する。SOMEONE$ su - hdfshdfs$ hadoop fs -mkdir /userhdfs$ hadoop fs -chmod 777 /userDataNode構築以下の手順以外はNameNodeと同じ。 yumによるバイナリのインストールyumによるバイナリのインストール$ sudo yum install hadoop-0.20-datanode.noarch====================================================================================== Package アーキテクチャ バージョン リポジトリー 容量======================================================================================インストール中 hadoop-0.20-datanode noarch 0.20.2+923.256-1 cloudera-cdh3 3.7 k依存性関連でのインストールをします binutils x86_64 2.21.53.0.1-6.fc16 updates 3.5 M hadoop-0.20 noarch 0.20.2+923.256-1 cloudera-cdh3 30 M patch x86_64 2.6.1-9.fc16 fedora 91 k pax x86_64 3.4-12.fc16 fedora 69 k perl-Class-ISA noarch 0.36-1006.fc16 updates 8.2 k perl-Locale-Codes noarch 3.21-1.fc16 updates 308 k redhat-lsb x86_64 4.0-7.1.fc16 updates 25 kトランザクションの要約======================================================================================インストール 1 パッケージ (+7 依存するパッケージ)総ダウンロード容量 34 Mインストール済み容量 66 Mこれでいいですか? [y/N]yHDFS動作確認NameNodeWebUI http//localhost50070/JOBTrackerWebUI http//localhost50030/運用under constructionトラブル対応log4jのエラー出力hadoopコマンド実行時に以下のlog4jのエラーが表示されるときの対処方法。log4jERROR Could not find value for key log4j.appender.NullAppenderlog4jERROR Could not instantiate appender named "NullAppender"./etc/hadoop/conf/log4j.propertiesに以下の行を追記する。## Null Appender# Trap security logger on the hadoop client side#log4j.appender.NullAppender=org.apache.log4j.varia.NullAppenderHBaseHBaseは2台のHBaseMaster、複数のHRegionServer及び複数のZooKeeper Serverから構成させる。これらは内部的にHDFSを利用するため、その上に環境を構築する。以下のHBase設定ファイルはHBaseMaster, HRegionServer共通。 /etc/hbase/conf/hbase-site.xmlHBaseの設定パラメタ：/etc/hbase/conf/hbase-site.xmlparametersdescriptionhbase.rootdirHBaseのデータはHDFS上に保存される。このプロパティではHDFS（マスターの位置とディレクトリ）を指定する。hbase.cluster.distributed分散モードで使用する場合は必ずtureにするhbase.zookeeper.quorumZooKeeper Serverの位置を指定する。 link HBaseメモ HBaseにJavaからアクセス ZooKeeper Server構築手順は以下の通り。 yumによるバイナリのインストール 設定ファイル作成(/etc/zookeeper/zoo.cfg, /var/zookeeper/myid)yumによるバイナリのインストール$ sudo yum install hadoop-zookeeper-server.noarch======================================================================================= Package アーキテクチャ バージョン リポジトリー 容量=======================================================================================インストール中 hadoop-zookeeper-server noarch 3.3.5+19.1-1 cloudera-cdh3 4.7 kトランザクションの要約=======================================================================================インストール 1 パッケージ総ダウンロード容量 4.7 kインストール済み容量 4.5 kこれでいいですか? [y/N]y設定ファイル作成(/etc/zookeeper/zoo.cfg, /var/zookeeper/myid)ZooKeeper Serverの設定ファイルは以下の通り。 /etc/zookeeper/zoo.cfg /var/zookeeper/myidzoo.cfgでは全てのZooKeeper Serverを全て登録する。その際IDを以下のフォーマットで割り当てる。server.id=HOSTport1port2該当するZooKeeper Serverではmyidとしてそのidを記述する。/etc/zookeeper/zoo.cfg# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial# synchronization phase can takeinitLimit=10# The number of ticks that can pass between# sending a request and getting an acknowledgementsyncLimit=5# the directory where the snapshot is stored.dataDir=/var/zookeeper# the port at which the clients will connectclientPort=2181server.0=ZK_HOST_028883888/var/zookeeper/myid0HBaseMaster構築手順は以下の通り。 yumによるバイナリのインストール HBase設定ファイル作成(hbase-site.xml) regionserversの作成 ZooKeeper Client設定ファイル作成(zoo.cfg) HDFS上のHBase用ディレクトリ作成yumによるバイナリのインストール$ sudo yum install hadoop-hbase-master.noarch================================================================================= Package アーキテクチャ バージョン リポジトリー 容量=================================================================================インストール中 hadoop-hbase-master noarch 0.90.6+84.29-1 cloudera-cdh3 4.4 k依存性関連でのインストールをします hadoop-hbase noarch 0.90.6+84.29-1 cloudera-cdh3 29 M hadoop-zookeeper noarch 3.3.5+19.1-1 cloudera-cdh3 2.9 Mトランザクションの要約=================================================================================インストール 1 パッケージ (+2 依存するパッケージ)総ダウンロード容量 31 Mインストール済み容量 41 Mこれでいいですか? [y/N]y設定ファイル作成(hbase-site.xml)サンプルは以下の通り。hbase-site.xml?xml version="1.0"??xml-stylesheet type="text/xsl" href="configuration.xsl"?!--/** * Copyright 2010 The Apache Software Foundation * * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding copyright ownership. The ASF licenses this file * to you under the Apache License, Version 2.0 (the * "License"); you may not use this file except in compliance * with the License. You may obtain a copy of the License at * * http//www.apache.org/licenses/LICENSE-2.0 * * Unless required by applicable law or agreed to in writing, software * distributed under the License is distributed on an "AS IS" BASIS, * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. * See the License for the specific language governing permissions and * limitations under the License. */--configuration property namehbase.rootdir/name valuehdfs//HDFS_MASTER_HOST54310/hbase/value /property property namehbase.cluster.distributed/name valuetruevalue /property property namehbase.zookeeper.quorum/name valueZK_HOST_0value /property/configurationregionserversの作成Under constructionZooKeeper Client設定ファイル作成(zoo.cfg)zoo.cfgでは全てのZooKeeper Serverを全て登録する。その際IDを以下のフォーマットで割り当てる。server.id=HOSTport1port2サンプルは以下の通り。/etc/zookeeper/zoo.cfg# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial# synchronization phase can takeinitLimit=10# The number of ticks that can pass between# sending a request and getting an acknowledgementsyncLimit=5# the directory where the snapshot is stored.dataDir=/var/zookeeper# the port at which the clients will connectclientPort=2181server.0=ZK_HOST_028883888HDFS上のHBase用ディレクトリ作成hbase-site.xmlにて以下の様な設定を行った場合は、HDFS上で"/hbase"を作成する。 property namehbase.rootdir/name valuehdfs//HDFS_MASTER_HOST54310/hbase/value /propertySOMEONE$ su - hdfshdfs$ hadoop fs -mkdir /hbasehdfs$ hadoop fs -chmod 777 /hbaseHRegionServer構築以下の手順以外はHBaseMasterと同じ。 yumによるバイナリのインストールyumによるバイナリのインストール$ sudo yum install hadoop-hbase-regionserver.noarch==================================================================================== Package アーキテクチャ バージョン リポジトリー 容量====================================================================================インストール中 hadoop-hbase-regionserver noarch 0.90.6+84.29-1 cloudera-cdh3 4.5 k依存性関連でのインストールをします hadoop-hbase noarch 0.90.6+84.29-1 cloudera-cdh3 29 M hadoop-zookeeper noarch 3.3.5+19.1-1 cloudera-cdh3 2.9 Mトランザクションの要約====================================================================================インストール 1 パッケージ (+2 依存するパッケージ)総ダウンロード容量 31 Mインストール済み容量 41 Mこれでいいですか? [y/N]yHBase動作確認HBaseMaster, HRegionServer, ZooKeeperが正常動作しているか確認するためには全てのホストで以下のコマンドが成功することを確認すること。[yuji@slave3 ~]$ hbase shellHBase Shell; enter helpRETURN for list of supported commands.Type "exitRETURN" to leave the HBase ShellVersion 0.90.6-cdh3u4, r, Mon May 7 131400 PDT 2012hbase(main)0010 status2 servers, 0 dead, 1.0000 average loadhbase(main)0020HBaseMasterWebUI http//localhost60010/master.jsplink 並列分散処理の常識をHadoopファミリから学ぶ (@IT) いまさら聞けないKVSの常識をHbaseで身につける (@IT) Google基盤ソフトウェアのオープンソースクローンを使ってみる (CodeZine) Hadoop分散データベース Offical系link Hadoopユーザー会 http//www.cloudera.co.jp/ http//www.cloudera.com/Ganglia http//ganglia.sourceforge.net/ZooKeeper http//zookeeper.apache.org/Offical系日本語訳あしたのオープンソース研究所 http//oss.infoscience.co.jp/index.htmlApache Hadoop http//oss.infoscience.co.jp/hadoop/Apache HBase http//oss.infoscience.co.jp/hbase/Apache Cassandra http//oss.infoscience.co.jp/cassandra/
＠wiki ホットワード(α)
