Apache Sqoop是用來實現結構型數據（如關系數據庫）和Hadoop之間進行數據遷移的工具。它充分利用了MapReduce的并行特點以批處理的方式加快數據的傳輸，同時也借助MapReduce實現了容錯。

項目地址：http://sqoop.apache.org/

目前為止，已演變出了2個版本：sqoop1和sqoop2。

sqoop1的最新版本是1.4.5，sqoop2的最新版本是1.99.3；1.99.3和1.4.5是不兼容的，并且功能還沒有開發完成，還不合適在生產環境部署。

sqoop支持的數據庫：

guojian@localtest:~/work$ sudo apt-get install sqoop

guojian@localtest:~/work$ sqoop help

usage: sqoop COMMAND [ARGS]

Available commands:

  codegen            Generate code to interact with database records

  create-hive-table  Import a table definition into Hive

  eval               Evaluate a SQL statement and display the results

  export             Export an HDFS directory to a database table

  help               List available commands

  import             Import a table from a database to HDFS

  import-all-tables  Import tables from a database to HDFS

  job                Work with saved jobs

  list-databases     List available databases on a server

  list-tables        List available tables in a database

  merge              Merge results of incremental imports

  metastore          Run a standalone Sqoop metastore

  version            Display version information

See 'sqoop help COMMAND' for information on a specific command.

import是將關系數據庫遷移到HDFS上

guojian@localtest:~/work$ sqoop import --connect jdbc:mysql://192.168.81.176/hivemeta2db --username root -password passwd --table sds

guojian@localtest:~/work$ hadoop fs -ls /user/guojian/sds

Found 5 items

-rw-r--r--   3 guojian cug_test          0 2014-09⑴1 16:04 /user/guojian/sds/_SUCCESS

-rw-r--r--   3 guojian cug_test        483 2014-09⑴1 16:03 /user/guojian/sds/part-m-00000.snappy

-rw-r--r--   3 guojian cug_test        504 2014-09⑴1 16:04 /user/guojian/sds/part-m-00001.snappy

-rw-r--r--   3 guojian cug_test       1001 2014-09⑴1 16:03 /user/guojian/sds/part-m-00002.snappy

-rw-r--r--   3 guojian cug_test        952 2014-09⑴1 16:03 /user/guojian/sds/part-m-00003.snappy

可以通過--m設置并行數據，即map的數據，決定文件的個數。

默許目錄是/user/${user.name}/${tablename}，可以通過--target-dir設置hdfs上的目標目錄。

如果想要將全部數據庫中的表全部導入到hdfs上，可使用import-all-tables命令。

sqoop import-all-tables

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈