【大数据】— sqoop ?

介绍
    【大数据】— sqoop ?
sqoop(SQL to Hadoop),是一款开源工具,主要用于在Hadoop()与传统的RDBMS(MySQL SQLServer Oracle)进行的数据传递,sqoop主要是封装了Hadoop的导入与导出,底层通过MapReduce的MapTask把关系型数据库的数据导入到HDFS中,同样也是用过MapTask把HDFS的数据导入到关系型数据库中,起着一个桥梁作用。

sqoop的版本

sqoop是Apache软件基金会提供的开源框架。官方网站参考:http://sqoop.apache.org

主要为sqoop1.x与sqoop2.x;目前主要主1.4.6为主 2.x变化大使用少;

基本使用

通过sqoop,你可以从关系型数据库中导出数据,导入到hdfs中。输入命令可能查询数据库的一个库或者一张表查询结果;输出则是数据库表或者结果的导出文件集合。导入进程是并行的(默认4个mr),因此输出的结果可能是多个文件(最终在hdfs中可能会得到多个文件)。这些文件可能是标准的文本文件TextFile(比如,使用逗号或者/t做字段间的分割 可以指定分割参数)。

sqoop的导入进程是一个自动生成出来的java class,因此它的很多组件都可以自定义,比如导入的格式压缩、文本的格式、导出的格式等等。

安装部署方式及参数详细使用参考下一篇博客………….

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31441024/viewspace-2155940/,如需转载,请注明出处,否则将追究法律责任。

本文由 @常刚亮[Vip] 发布于 职涯宝 ,未经作者许可,禁止转载,欢迎您分享文章

发表评论

登录后才能评论
小程序
小程序
微信客服
微信客服
QQ客服 建站服务
分享本页
返回顶部