[TOC] # 修改hadoop集群具有Snapp压缩方式 **查看hadoop checknative命令使用** ~~~ hadoop 里面有个checknative ~~~ **查看hadoop支持的压缩方式** ~~~ hadoop checknative ~~~ 可以看到支持哪些压缩不支持哪些 我们把编译好带snappy压缩的hadoop上传上来,解压他到/path/lib/native文件夹中. 把里面native拷贝到自己hadoop的/path/lib/native文件夹中 ~~~ cp ../native/* /path/hadoop/lib/native ~~~ 再来查看下 ~~~ hadoop checknative ~~~ 发现snappy是true了 这时候要想支持,还需要把hive和hadoop重启才可以 # 存储和压缩 ~~~ create table log( url string, ip string ) row format delimited fields terminated by '\t' stored as orc tblproperties("orc.compress"="SNAPPY"); ~~~ 存储选择orc,压缩选择SNAPPY # 总结 在实际开发中,hive表的数据存储格式一般选择:ORC或parquet. 压缩方式一般选择snappy,lzo ORC格式的表不能直接load进去,要用其他表select后insert进去