大数据平台搭建之SQOOP安装和使用

[原创] 大数据平台搭建之SQOOP安装和使用

秋水 2018/02/24 10 搭建/ oop/ 数据/ 大数/ 使用/ 平台/ SQOOP安装和使用/ 大数据

#大数据平台搭建之SQOOP安装和使用 [TOC] ##1.安装准备 去sqoop官网下载1.99.7版本，由于与1.43以下版本差异很大，这里简称sqoop2，上传到namenode(最好放在hadoop集群上)所在节点。 ##2.安装配置 将软件包解压到安装目录/data0/soft/。 修改conf/sqoop.properties的@BASEDIR@以及@LOGDIR@，改为自定义路径值。 修改conf/sqoop.properties下hadoop配置文件路径 org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/data0/soft/hadoop-2.6.0-cdh5.5.0/etc/hadoop 配置SQOOP_HOME环境变量 注意将mysql、pgsql等驱动包放到根目录server/lib、tool/lib、shell/lib等目录，方便起见也可以在根目录建立lib目录，然后放置到该目录中并在环境变量中配置如下路径。 export SQOOP_SERVER_EXTRA_LIB=/data0/soft/sqoop/lib ##3.启动SQOOP 执行以下命令，升级和验证没有报错即可启动sqoop服务，然后启动sqoop的shell终端 ~~~shell sqoop2-tool verify #启动 sqoop2-server start #停止 sqoop2-server stop #启动客户端命令行 sqoop2-shell #设置sqoop server，api调用会用到 set server --host 10.20.112.30 --port 12000 --webapp sqoop ~~~ 4.配置任务 sqoop2主要逻辑对象包含：connector、link、job。 其中： connector作为数据连接器，负责将各类数据写入写出 link作为用户自定义的数据连接通道，基于connector job为最终需要执行的同步任务，包含一个from link和一个to link。 这里展示一个mysql同步到hdfs的配置示例。 ~~~shell #显示connector sqoop:000> show connector +------------------------+---------+------------------------------------------------------------+----------------------+ | Name | Version | Class | Supported Directions | +------------------------+---------+------------------------------------------------------------+----------------------+ | generic-jdbc-connector | 1.99.7 | org.apache.sqoop.connector.jdbc.GenericJdbcConnector | FROM/TO | | kite-connector | 1.99.7 | org.apache.sqoop.connector.kite.KiteConnector | FROM/TO | | oracle-jdbc-connector | 1.99.7 | org.apache.sqoop.connector.jdbc.oracle.OracleJdbcConnector | FROM/TO | | ftp-connector | 1.99.7 | org.apache.sqoop.connector.ftp.FtpConnector | TO | | hdfs-connector | 1.99.7 | org.apache.sqoop.connector.hdfs.HdfsConnector | FROM/TO | | kafka-connector | 1.99.7 | org.apache.sqoop.connector.kafka.KafkaConnector | TO | | sftp-connector | 1.99.7 | org.apache.sqoop.connector.sftp.SftpConnector | TO | +------------------------+---------+------------------------------------------------------------+----------------------+ #如果connector不满足需求，可以自定义扩展（这里不做介绍） sqoop:000> show link sqoop:000> show job #刚开始都是没有配置的，现在开始创建link sqoop:000> create link -c generic-jdbc-connector Name: localmysql Driver class: com.mysql.jdbc.Driver Connection String: jdbc:mysql://10.20.112.30:3306/hive Username: root Password: **** Fetch Size: 1000 Identifier enclose: （输入空格） #完成mysql link创建，接着创建hdfs link sqoop:000> create link -c hdfs-connector Name: localhdfs URI: hdfs://dmp/（hdfs URL） Conf directory: /data0/soft/hadoop-2.6.0-cdh5.5.0/etc/hadoop #最后创建job，里边配置对应JAVA API中三个配置对象fromJobConfig、toJobConfig、throttlingConfig sqoop:000> create job -f localmysql -t localhdfs Name: localjob Schema name: （sql和该项二填一） Table name: （sql和该项二填一） SQL statement: select SD_ID,CD_ID,INPUT_FORMAT,LOCATION from SDS where 1=1 and ${CONDITIONS} Column names: （sql和该项二填一） Partition column: SD_ID File format: Choose: 0 Compression codec: Choose: 0 Output directory: /data/logs/sqoop/20171215 #未提示的项如果没有定制需要，直接回车过，这里job创建完成，可以启动测试一下 start job -n localjob ~~~ ##5.API调用 SQOOP2的shell调用没有找到传参的方式，不如sqoop1的export/import命令灵活，但是这个版本支持REST API调用和JAVA API调用，这里只对JAVA API做简介。 ~~~java SqoopClient client = new SqoopClient("http://10.20.112.30:12000/sqoop"); MJob job = client.getJob("localjob"); //对应job输入源参数配置 MFromConfig fromJobConfig = job.getFromJobConfig(); //对应job输出目标参数配置 MToConfig toJobConfig = job.getToJobConfig(); //更新数据源sql，注意这里的key名称是fromJobConfig.xx、toJobConfig.xx，如果不确定，可以在控制台打印config对象。 fromJobConfig.getStringInput("fromJobConfig.sql").setValue("select xx..."); toJobConfig.getStringInput("toJobConfig.outputDirectory").setValue("/data/logs/sqoop/20171218"); //创建job也类似，注意不能同名，一般直接更新sql和目录既可，无需重建job Status status1 = client.updateJob(job,"localjob"); MSubmission submission = client.startJob("localjob"); ~~~ 关于sqoop的安装和使用介绍暂时到这里，欢迎指正错误。

注意！

本站用户原创文章，版权为本站用户，转摘请注明本文地址：http://www.silva-art.net/blog/2018/02/24/67e30aff2272b23631d42a97739f2c.html。

hadoop大数据平台手动搭建(五)-sqoop 大数据平台搭建之Hbase安装大数据学习之十五——sqoop的安装和使用 [大数据之Sqoop] —— 什么是Sqoop? 大数据学习——sqoop安装大数据之Sqoop <三> 大数据学习——Sqoop入门使用大数据平台搭建大数据平台搭建(5) 大数据平台搭建

[原创] 大数据平台搭建之SQOOP安装和使用

注意！

赞助商广告