爱博体育彩票

深圳爱博体育彩票-爱博体育彩票

網站首頁 > 新聞

第二周 深圳模具- 搭建 hadoop 大數據集群 ,linux , 虛擬機

2019-10-20 09:10:27 深圳爱博体育彩票-爱博体育彩票 閱讀


深圳模具-搭建 hadoop 大數據集群



爱博体育彩票***電腦中要先有如下內容:

image.png

image.png

點擊安裝虛擬機

image.png


image.png

image.png

輸入16位許可證碼,按 《輸入》

image.png

爱博体育彩票結束虛擬機安裝, 接下來安裝 Centos 操作系統。


在屏幕上點擊虛擬機圖標 :image.png爱博体育彩票  出現下面的封面


image.png


爱博体育彩票點擊創建新的虛擬機

image.png

按 自定義  , 然后 下一步。

image.png


image.png

image.png

選擇  Centos 64 bit

image.png


image.png


image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

爱博体育彩票按  完成  以后


image.png


image.png

點擊后, 出現安裝 centos 的界面, 完成后出現圖形界面


image.png


選擇 Otehr    ,   輸入  root       hadoop  進入系統


image.png


爱博体育彩票至此, 前面的安裝完成, 可以按  終端  進入  # 狀態



1、準備linux環境

爱博体育彩票          1.1、修改主機名 # vi /etc/sysconfig/network

爱博体育彩票                                        HOSTNAME=hsmaster


           1.2、修改ip  

                          第一種方法:通過圖形界面方式進行修改,

                          第二種方法通過命令進行修改:

爱博体育彩票                                    # vi /etc/sysconfig/network-scripts/ifcfg-eth0

                                        BOOPROTO="static"

                                        IPADDR=192.168.1.119

爱博体育彩票                                        GATEWAY=192.168.1.1


           1.3、修改主機名和ip的映射關系  

                                 # vi /etc/hosts

                                    192.168.1.119 hsmaster

                                    192.168.1.120 hsslave1

                                    192.168.1.121 hsslave2

爱博体育彩票                                    《如果有 10臺電腦, 也是這樣配置》


爱博体育彩票          1.4、關閉防火墻

                               # service iptables status

                                   image.png

爱博体育彩票                               # service iptables stop

                                  image.png

爱博体育彩票                               # chkconfig iptables off

                                  image.png


爱博体育彩票         1.5、重啟linux

                               # reboot


2、安裝jdk

爱博体育彩票         2.1、上傳jdk文件       to      /bigdata/tools

         2.2、解壓jdk  tar -zxvf jdk-7u79-linux-i586.tar.gz

         2.3、配置java環境變量

                               # vi /etc/profile

                                       export JAVA_HOME=/bigdata/tools/jdk1.7.0_79

爱博体育彩票                                       export PATH=$PATH:$JAVA_HOME/bin


3、配置ssh免登錄

爱博体育彩票         1.1、 ssh-keygen -t rsa 一路回車生成密鑰

爱博体育彩票         1.2、 id_rsa.pub 追加授權Key  cat ~/.ssh/id_rst.pub >> ~/.ssh/authorized_keys

         1.3、 修改權限

爱博体育彩票                   chmod   666  

         1.4、 將公共密鑰復制到其它節點

                   還是需要修改權限 

         1.5、 重啟ssh服務


         1.6、 檢查配置文件

     

         1.7、 驗證ssh免登錄是否成功

                   # cat /etc/ssh/

                  image.png

爱博体育彩票  

4、搭建hadoop集群

爱博体育彩票         4.1、上傳文件

爱博体育彩票                  窗口下可以拖拽進入虛擬機

         4.2、 解壓hadoop文件

                  tar

         4.3、 配置hadoop-env.sh文件

                  修改絕對路徑

         4.4、 配置core-site.xml文件


爱博体育彩票         4.5、 配置hdfs-site.xml文件


爱博体育彩票         4.6、 配置mapred-site.xml文件

                    

         4.7、 配置yarn-site.xml文件


         4.8、 配置環境變量


         4.9、 將文件復制到其它節點上


爱博体育彩票        4.10、 進行格式操作

                    # hdfs namenode -format

         4.11、 啟動hadoop sbin/  ./start-all.sh


         4.12、 驗證集群是否啟動成功

爱博体育彩票                        # jps

爱博体育彩票                               NameNode

爱博体育彩票                               DataNode

                               NodeManager

                               ResourceManager

                               SecondaryNameNode

           4.13、 登錄界面進行查看:

爱博体育彩票                       HDFS管理界面:                                       http://192.168.1.119:50070

                       MR管理界面:                                          htpp://192.168.1.119:8088




----------------------------------------------------------------下面是第三周

深圳模具-正式學習使用 hadoop 大數據集群


一、HDFS相關命令:

爱博体育彩票       1、查看HDFS下目錄結構及文件   hdfs dfs -ls -R /

       2、創建文件目錄/tmp    hdfs dfs -mkdir /tmp

       3、刪除/tmp目錄   hdfs dfs -rm -r /tmp

       4、復制當前目錄下a.txts到HDFS文件系統   hdfs dfs -put a.txt /inputFile

爱博体育彩票       5、列出/tmp目錄   hdfs dfs -ls /tmp

       6、查看/inputFile/a.txt文件內容   hdfs dfs -cat /inputFile/a.txt

       7、查看HDFS狀態   hdfs dfsadmin -report


        用這個命令可以快速定位出哪些節點down掉了,HDFS的容量以及使用了多少,

爱博体育彩票        以及每個節點的硬盤使用情況。當然NameNode有個http頁面也可以查詢,

        但是這個命令的輸出更適合我們的腳本監控dfs的使用狀況。


        下面是關于 YARN 的操作:      

         yarn.nodemanager.aux-service

爱博体育彩票                spark_shuffle

爱博体育彩票                mapreduce_shuffle    要引入對應的架包  

                yarn.nodemanager.aux-services.mapreduce_shuffle.class  

                                采用 FIFO的方式, 這個方式并不好 , 好的方式是 公平調度-Fair .

                org.apache.hadoop.mapred.ShuffleHandler


爱博体育彩票                yarn.nodemanager.aux-services.spark_shuffle.class

                org.apache.spark.network.yarn.YarnShuffleServic

                FairScheduler.xml

                yarn.scheduler.fair.user-as-default-queue false true

                yarn.scheduler.fair.preemption false true

爱博体育彩票               yarn.resourcemanager.scheduler

爱博体育彩票               org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler

               spark.shuffle.service.port 7337



第四周   

              Hbase 。

爱博体育彩票              Hbase  -> Google bigtable 開源實現   ---2008年---->  apache hadoop 下面的項目   

爱博体育彩票                               采用的公司 :    Facebook           Intel       yahoo     baidu     alibaba      tencent   360  等等   nosql 數據庫

爱博体育彩票                               

                           image.png


      image.png


                SQL (Structured Query Language) 數據庫,指關系型數據庫。

                                                                       主要代表:SQL Server,Oracle,MySQL(開源),PostgreSQL(開源)。

爱博体育彩票          NoSQL(Not Only SQL)泛指非關系型數據庫。

                                                                       主要代表:MongoDB,Redis,CouchDB。 supersech      hbase , kylin ,  chiohouse   phesto


爱博体育彩票               關系型數據庫的特點:    面向行的,    Nosql 是面向列的。  

爱博体育彩票               高并發狀態下:      分庫分表    讀寫分離   帶來數據一致性問題 ,海量數據實現出來很復雜,后期遷移也很復雜。

               高可用,可靠性,可伸縮性的措施: 主備 、 主從 、 多主。   本身的可擴展性很差。   增加節點或者宕機要做遷移。  

爱博体育彩票               Hbase 首先是一個大表。


1.關系型數據庫理論 - ACID

            ACID,是指數據庫管理系統(DBMS)在寫入或更新資料的過程中,為保證事務(transaction)是正確可靠的,

                      所必須具備的四個特性:原子性(atomicity,或稱不可分割性)、一致性(consistency)、

                      隔離性(isolation,又稱獨立性)、持久性(durability)。

爱博体育彩票                      A – Atomicity – 原子性

爱博体育彩票                                             一個事務(transaction)中的所有操作,要么全部完成,要么全部不完成,不會結束在中間某個環節。

                                             事務在執行過程中發生錯誤,會被回滾(Rollback)到事務開始前的狀態,就像這個事務從來沒有被執行過一樣。

                      C – Consistency – 一致性

                                             在事務開始之前和事務結束以后,數據庫的完整性沒有被破壞。這表示寫入的資料必須完全符合所有的預設規則,

                                              這包含資料的精確度、串聯性以及后續數據庫可以自發性地完成預定的工作。

                      I – Isolation – 隔離性

                                             數據庫允許多個并發事務同時對其數據進行讀寫和修改的能力,隔離性可以防止多個事務并發執行時

爱博体育彩票                                             由于交叉執行而導致數據的不一致。事務隔離分為不同級別,包括讀未提交(Read uncommitted)、

                                             讀提交(read committed)、可重復讀(repeatable read)和串行化(Serializable)。

                      D – Durability – 持久性

                                             事務處理結束后,對數據的修改就是永久的,即便系統故障也不會丟失。

爱博体育彩票       關系型數據庫嚴格遵循ACID理論。

爱博体育彩票       但當數據庫要開始滿足橫向擴展、高可用、模式自由等需求時,需要對ACID理論進行取舍,不能嚴格遵循ACID。

       以CAP理論和BASE理論為基礎的NoSQL數據庫開始出現。

 

2.分布式系統理論

 

爱博体育彩票2.1 分布式系統介紹

 

爱博体育彩票分布式系統的核心理念是讓多臺服務器協同工作,完成單臺服務器無法處理的任務,尤其是高并發或者大數據量的任務。分布式是NoSQL數據庫的必要條件。

 

爱博体育彩票分布式系統由獨立的服務器通過網絡松散耦合組成的。每個服務器都是一臺獨立的PC機,服務器之間通過內部網絡連接,內部網絡速度一般比較快。因為分布式集群里的服務器是通過內部網絡松散耦合,各節點之間的通訊有一定的網絡開銷,因此分布式系統在設計上盡可能減少節點間通訊。此外,因為網絡傳輸瓶頸,單個節點的性能高低對分布式系統整體性能影響不大。比如,對分布式應用來說,采用不同編程語言開發帶來的單個應用服務的性能差異,跟網絡開銷比起來都可以忽略不計。

 

因此,分布式系統每個節點一般不采用高性能的服務器,而是使用性能相對一般的普通PC服務器。提升分布式系統的整體性能是通過橫向擴展(增加更多的服務器),而不是縱向擴展(提升每個節點的服務器性能)實現。

 

分布式系統最大的特點是可擴展性,它能夠適應需求變化而擴展。企業級應用需求經常隨時間而不斷變化,這也對企業級應用平臺提出了很高的要求。企業級應用平臺必須要能適應需求的變化,即具有可擴展性。比如移動互聯網2C應用,隨著互聯網企業的業務規模不斷增大,業務變得越來越復雜,并發用戶請求越來越多,要處理的數據也越來越多,這個時候企業級應用平臺必須能夠適應這些變化,支持高并發訪問和海量數據處理。分布式系統有良好的可擴展性,可以通過增加服務器數量來增強分布式系統整體的處理能力,以應對企業的業務增長帶來的計算需求增加。

 

2.2 分布式存儲的問題 – CAP理論

 

如果我們期待實現一套嚴格滿足ACID的分布式事務,很可能出現的情況就是系統的可用性和嚴格一致性發生沖突。在可用性和一致性之間永遠無法存在一個兩全其美的方案。由于NoSQL的基本需求就是支持分布式存儲,嚴格一致性與可用性需要互相取舍,由此延伸出了CAP理論來定義分布式存儲遇到的問題。

 

CAP理論告訴我們:一個分布式系統不可能同時滿足一致性(C:Consistency)、可用性(A:Availability)、分區容錯性(P:Partitiontolerance)這三個基本需求,并且最多只能滿足其中的兩項。

 

爱博体育彩票對于一個分布式系統來說,分區容錯是基本需求,否則不能稱之為分布式系統。因此架構師需要在C和A之間尋求平衡。

 


HBase 的物理存儲

HBase 表中的所有行都是按照行鍵的字典序排列的。

因為一張表中包含的行的數量非常多,有時候會高達幾億行,所以需要分布存儲到多臺服務器上。

因此,當一張表的行太多的時候,HBase 就會根據行鍵的值對表中的行進行分區,每個行區間構成一個“分區(Region)”,

包含了位于某個值域區間內的所有數據,如圖 1 所示。

HBase的Region存儲模式圖

                   圖 1  HBase的Region存儲模式圖




Region 是按大小分割的,每個表一開始只有二個 Region,隨著數據不斷插入到表中,Region 不斷增大,

當增大到一個閾值的時候,Region 就會等分為兩個新的 Region。

當表中的行不斷增多時,就會有越來越多的 Region,如圖 2 所示。



 HBase的Region分裂示意
                                   圖 2  HBase的Region分裂示意


Region 是 HBase 中數據分發和負載均衡的最小單元,默認大小是 100MB 到 200MB。

不同的 Region 可以分布在不同的 Region Server 上,但一個 Region 不會拆分到多個 Region Server 上。

每個 Region Server 負責管理一個 Region 集合。

如圖 3 所示。



HBase的Region分布模式
                                                                圖 3  HBase的Region分布模式



Region 是 HBase 在 Region Server 上數據分發的最小單元,但并不是存儲的最小單元。

事實上,每個 Region 由一個或者多個 Store 組成,每個 Store 保存一個列族的數據。

每個 Store 又由一個 memStore 和 0 至多個 Store File 組成,如圖 4 所示。

Store File 以 HFile 格式保存在 HDFS 上。


HBase的Region存儲模式
                                                                       圖 4  HBase的Region存儲模式

HBase 的邏輯架構

在分布式的生產環境中,HBase 需要運行在 HDFS 之上,以 HDFS 作為其基礎的存儲設施。

HBase 的上層是訪問數據的  API 層,供應用訪問存儲在 HBase 中的數據。

HBase 的集群主要由 Master、Region Server 和 Zookeeper 組成,

具體模塊如圖 5 所示。

HBase的系統架構

                                                                 圖 5  HBase的系統架構



1)Master

Master 主要負責表和 Region 的管理工作。

表的管理工作主要是負責完成增加表、刪除表、修改表和查詢表等操作。

Region 的管理工作更復雜一些,Master 需要負責分配 Region 給 Region Server,協調多個 Region Server,檢測各個 Region Server 的狀態,并平衡 Region Server 之間的負載。

當 Region 分裂或合并之后,Master 負責重新調整 Region 的布局。如果某個 Region Server 發生故障,Master 需要負責把故障 Region Server 上的 Region 遷移到其他 Region Server 上。

HBase 允許多個 Master 結點共存,但是這需要 Zookeeper 進行協調。當多個 Master 結點共存時,只有一個 Master 是提供服務的,其他的 Master 結點處于待命的狀態。

當正在工作的 Master 結點宕機時,其他的 Master 則會接管 HBase 的集群。



2)RegionServer

HBase 有許多個 Region Server,每個 Region Server 又包含多個 Region。Region Server 是 HBase 最核心的模塊,負責維護 Master 分配給它的 Region 集合,并處理對這些 Region 的讀寫操作。

Client 直接與 Region Server 連接,并經過通信獲取 HBase 中的數據。

HBase 釆用 HDFS 作為底層存儲文件系統,Region Server 需要向 HDFS 寫入數據,并利用 HDFS 提供可靠穩定的數據存儲。

Region Server 并不需要提供數據復制和維護數據副本的功能。


3)Zookeeper

Zookeeper 的作用對 HBase 很重要。


首先,Zookeeper 是 HBase Master 的高可用性(High Available,HA)解決方案。

也就是說,Zookeeper 保證了至少有一個 HBase Master 處于運行狀態。

Zookeeper 同時負責 Region 和 Region Server 的注冊。

HBase 集群的 Master 是整個集群的管理者,它必須知道每個 Region Server 的狀態。

HBase 就是使用 Zookeeper 來管理 Region Server 狀態的。

每個 Region Server 都向 Zookeeper 注冊,由 Zookeeper 實時監控每個 Region Server 的狀態,并通知給 Master。


這樣,Master 就可以通過 Zookeeper 隨時感知各個 Region Server 的工作狀態。


需要搭建 ZooKepper 集群 , 采取奇數作為基礎, 要不斷選取出唯一的領導者 。


然后在搭建 Hbase 集群。



image.png

image.png



Hlog = Mysql 中的 bingLog

image.png



Hbase 邏輯架構

image.png


image.png



安裝 Hbase


1、下載軟件從   hbase.apache.com   

爱博体育彩票2、上傳到 \bigdata\tools

3、tar -zxvf hbase-1.2.3tar.gz

爱博体育彩票4、cd /bigdata/tools/hbase1.2.3/config

5、vi hbase-env.sh

爱博体育彩票      export ...


6、vi  hbase-site.xml



image.png

image.png

image.png


image.png

爱博体育彩票我們上課說的:    start-hbase.sh

爱博体育彩票              查看:     jsp                         或者     


              安裝一個插件 Phoenix , 就可以用 mysql 數據庫的命令看了   , 等于是一個 shell .

              API可以在 Java后端做軟件查看 。

爱博体育彩票              

           

爱博体育彩票第四周, 盧老師筆記--------------------------------------------------------------------------------------------------


HBase 是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統。

利用PC搭建大規模的結構化存儲集群。


爱博体育彩票HBase -> Google Bigtable開源實現。GFS <- HDFS 2006 powerset jim

爱博体育彩票2008  Apache Hadoop 


Facebook

Intel

Yahoo

baidu

alibaba

tencent

360


爱博体育彩票回顧一下傳統關系型數據庫

爱博体育彩票1、有事務的保障 ACID 原子性、一治性、隔離性、持久性

2、豐富的數據類型和sql操作

3、嚴格的數據類型,及行式存儲


爱博体育彩票關系型數據庫在高并發、大數據應對方式:

高并發:

爱博体育彩票措施:分庫分表 、讀寫分離

帶來數據一致性問題

海量數據:

措施:分庫分表

實現復雜,后期遷移復雜

路由自定義

高可用、可靠、可伸縮、

措施:主備、主從、多主

爱博体育彩票本身擴展性差,增加節點宕機需要做數據遷移


HBase特點:

大表:一個表有上億行,上百萬列

面向列:面向列族的存儲,列族獨立檢索

爱博体育彩票稀疏:對于空(null)的列,不占用空間

。。。



分布式數據庫hbase特點:

基于列式高效存儲

強一致數據訪問

高可靠

高性能

可伸縮,自由切分、遷移

爱博体育彩票Schema free


RowKey

:與nosql數據庫一樣,row key是用來檢索記錄的主鍵。

爱博体育彩票而且可以訪問hbase table中行,只有三方法:

1、通過單個row key進行訪問

爱博体育彩票2、通過row key的range進行訪問

爱博体育彩票3、全表掃描

爱博体育彩票row key行鍵,64kb,實際應用長度一般10~100ytes,在hbase內部,row key保存為字節數組。存儲時,數據按row key的字典順序排序存儲。



爱博体育彩票Columns family

列族:

爱博体育彩票hbase表中的每個列,都歸屬于某個列族。

爱博体育彩票列族是表的schema的一部分,而列不是,必須在使用表之前進行定義。

列名都以列族作為前綴。

爱博体育彩票courses:history, courses:math都屬于courses這個列族。



Time Stamp

時間戳:

hbase中通過row和columns確定的為一個存儲單元:cell

每個cell都保存著同一份數據的多個版本。版本通過時間戳來做索引。時間戳的類型是64位整型。

爱博体育彩票時間戳也可以由hbase系統進行賦值,可以精確到毫秒,當然也可以由客戶顯示賦值。

每個cell中,不同版本的數據按時間倒序排序,最新的數據排在最前面。為了避免數據存在過多版本造成的管理負擔,hbase提供兩種回收方式,一是保存數據最后的n個版本,二保存最近一段時間內版本(比如最近7天),用戶可以針對每個列族進行設置。




Cell

由row key + column ,version唯一確定單元,cell中的數據是沒有類型的,全是字節碼形式存儲。

Cell的內容是不可分割的字節數組。

無類型、字節碼。



物理存儲

在hbase table中所有的行都按row key的字典序排列。

爱博体育彩票table在行的方向上分割為多個hregion


Region按大小分割的,每個表一開始只有一個region,隨著數據不斷插入表,region不斷增大,當增大到一定閥值時候,Hregion就會分成兩個新hregion



HRegion是Hbase中分布式存儲和負載均衡的最小單元,最小單元就表示不同的Hregion可以分布在不同的hregion server上,但一個hregion是不會折分到多個server


Store:

Hregion雖然是分布式存儲的最小單元,但并不是存儲的最小元,在下層還有store,而store是以hfile的格式保存在hdfs上。





HFile:

1、Data Block

保存表中的數據,這部分可以被壓縮。


爱博体育彩票2、Meta Block

保存用戶自定義的kv對,可以被壓縮


3、Data Block Index

Data Block索引,每條索引的key是被索引的block的第一條記錄的key


4、Meta Block Index

Meta Block索引.


5、Trailer

是定長的,保存每一段的偏移量。在讀取一個hfile時,會首先讀取Trailer,Trailer保存了每個段的起始位置,然后,DataBlockIndex會被讀取到內存中,這樣,當檢索某個key時,不需要掃描整個HFile,而只需要從內存中找到key所在的blok,通過一次磁盤io,可以將整個block讀取到內存中,再找到需要的key。DataBlockInde采用LRu機制淘汰。

爱博体育彩票HFile的DataBlock,MetaBlock通常采用壓縮方式進行存儲,壓縮后可以減少磁盤io,相應的cpu的開支也會減少。


爱博体育彩票6、File Info

爱博体育彩票是HFile的元信息,不被壓縮,用記可以在這一段添加自己的元信息。


目前HFile的壓縮支持兩種方式:GZip、Lzo


Hlog:

Hlog類似于mysql 中的binlog,用來做災難恢復,hlog記錄了所有數據的變更,一但數據修改,都可以在log里面進行恢復。


注意:每個Region Server維護一個Hlog,而不是每個Region一個


爱博体育彩票這樣不同的Region的日志會混合在一起,這樣做的目的,是不斷追加單個文件相對于同時寫多個文件而言,可以減少磁盤尋址次數。所以可以提高對table的寫的性能。


Hlog 文件就是一個hadoop squence file ,squence file的key是hlogkey的對象,hlogkey記錄了寫入數據的歸屬信息。除了table和region名字之外,同時還包括sequence number和time stamp,time stamp是寫入時間,sequence number和的起始值為0,或者是最近一次存儲文件 系統的sequence number。



Client:

訪問hbase接口,維護著region位置的緩存信息。


Zookeeper:

保證任何時候,集群中只有一個master

存儲所有Region的尋址入口。

實時監控Region Server的狀態,將上下線信息通知master

爱博体育彩票存儲hbase的schema,包括有哪些table,每個table有哪些column family


Master

爱博体育彩票為Region Server分配region

負載region server的負載均衡

爱博体育彩票發現失效的region server并重新分析其上的region

GFS上的垃圾文件回收

爱博体育彩票處理schema更新請求。




爱博体育彩票Region Server

爱博体育彩票維護master分配給它的region,處理io請求

負責切分過大的region,可以看到client訪問hbase上數據的過程并不需要master參與。



HBase安裝部署與配置:

單機、集群

1、上傳hbase安裝包

爱博体育彩票2、解壓hbase文件  tar -zxvf hbase-1.2.3.tar.gz

爱博体育彩票3、cd /bigdata/tools/hbase1.2.3/conf

4、修改hbase-env.sh

export JAVA_HOME=/bigdata/tools/jdk1.7

export HBASE_CLASSPATH=/bigdata/tools/hbase1.2.3/conf

爱博体育彩票export HBASE_MANAGERS_ZK=true


5、修改hbase-site.xml

hbase.rootdir

hdfs://192.168.1.119:9000/hbase



hbase.cluster.distributed

true




6、配置region servers文件及hbase環境變量

regionservers文件增加集群節點ip

192.168.1.119

192.168.1.120

爱博体育彩票192.168.1.121


爱博体育彩票配置hbase環境變量

export HBASE_HOME=/bigdata/tools/hbase1.2.3/

export PATH=$PATH:/bigdata/tools/hbase1.2.3/bin


source /etc/profile



爱博体育彩票7、啟動hbase  

start-hbase.sh


爱博体育彩票8、查看hbase進程

jsp

DataNode

SecondaryNamenode

NameNode

ResourceManger

NodeManager

HRegionServer

Hmaster

JobTracker

爱博体育彩票TaskTracker

QuorumpeerMain


爱博体育彩票9、通過http頁面進行查看

爱博体育彩票http://192.168.1.119:16030


hbase shell基本用法:

1、建立一個表scores,有兩個列族,grad和courese

爱博体育彩票create 'scores','grade','courese'


爱博体育彩票2、查看hbase中的所有的表:

list


3、查看表結構:

爱博体育彩票describe 'scores'


4、按設計的表結構插入值:

put 'scores','tom','grade','5'

put 'scores','tom','courese:math','97'

put 'scores','Jim','courese:art','87'

put 'scores','Jim','grade','4'


5、根據鍵值查詢數據

get 'scores','Jim'

爱博体育彩票get 'scores','Jim','grade'


6、查看表中所有數據

scan 'scores'


7、刪除指定數據

爱博体育彩票delete 'scores','Jim','grage'



8、修改表結構

爱博体育彩票disable 'scores'

爱博体育彩票alter 'scores', NAME=>'info'

enable 'scores'


9、統計行數

count 't1'


爱博体育彩票10、刪除表

爱博体育彩票disable 'scores'

drop 'scores'



API


1、初始化配置

爱博体育彩票publice class HBaseTest{

private static Configuration conf = null;

Cinfuguration HBASE_CONF = new Configuration()

HBASE_CONF.set('hbase.master','192.168.1.119:60000')

HBASE_CONF.set('hbase.zookeeper.quorum','hsslave1,hsslave2,hsslave3')

爱博体育彩票.set('hbase.zookeeper.property.clientport','2181')

爱博体育彩票conf = HBaseconfiguration.create(HBASE_CONF)


}


2、創建一張表



public static void createTable(String tableName,String[] familys)throws Exception{

HBaseAdmin admin = new HBaseAdmin(conf)

爱博体育彩票HTableDescripor tableDes = new HTbaleDescriptor(tableName)

tableDes.addFamily(new HColumnDescriptor(familys[i]))

admin.createTable(tableDes)

}



爱博体育彩票3、插入一條數據


爱博体育彩票4、刪除一行數據


5、查詢一條記錄


6、查詢所有數據


3、刪除一張表


-------------------------------------------------------------------------------------------

  




標簽:   深圳模具-搭建 hadoop 大數據集群
Powered by  ©2008-2019