栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 前沿技术 > 大数据 > 大数据系统

查看hive表是否有(中文)乱码

大数据系统 更新时间:发布时间: 百科书网 趣学号

如何解决hive表中的乱码现象网上有不少解决方案,那么如何查询是否存在乱码呢?

一般来说,自己查询的时候查一下前10行就能查看是否有数据出现乱码现象。

比较合理的方法是将数据字段按照升序和降序分别做一次排序查看是否有乱码现象,这里提供一种解决思路,下面是写好的shell脚本。

#创建文件2.out

echo " " > 2.out

#对文件1.out进行循环,1.out是提前准备好的文件。

for  line  in  `cat 1.out`

#开始循环

do

#输出sql语句 升序排序

echo select ${line} from edwd.DWD_D_PR_SAI_MEMBER_INST order by ${line} ASC >> 2.out

#执行sql语句 进行升序排序并选择前10条

hive -e "select ${line}  from edwd.DWD_D_PR_SAI_MEMBER_INST where acct_month=202111 and day_id = 16 order by ${line} ASC LIMIT 10" >> 2.out

#输出sql语句 降序排序

echo select ${line} from edwd.DWD_D_PR_SAI_MEMBER_INST order by ${line} DESC >> 2.out

#执行sql语句 进行降序排序并选择前10条

hive -e "select ${line}  from edwd.DWD_D_PR_SAI_MEMBER_INST where acct_month=202111 and day_id = 16 order by ${line} DESC LIMIT 10" >> 2.out

#输出

echo "***************************************************" >> 2.out

#结束循环

done

转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/600774.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号