栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 前沿技术 > 大数据 > 大数据系统

python连接hive--Pyhive

大数据系统 更新时间:发布时间: 百科书网 趣学号
Pyhive

安装包

pip install sasl
pip install thrift
pip install thrift-sasl
pip install PyHive
# 安装对应的包  sasl可能会报错
#下载sasl文件

sasl下载

执行语句

第一种
from pyhive import hive
def select_pyhive(sql):
    # 创建hive连接
    conn = hive.Connection(host='##', port=##, username='##', database='库名')
    cur = conn.cursor()
    try:
        # c = cur.fetchall()
        df = pd.read_sql(sql, conn)
        return df
    finally:
        if conn:
            conn.close()
sql='select * from table limit 10'
df = select_pyhive(sql)
第二种
from sqlalchemy.engine import create_engine
def _sql_hive():
    engine = create_engine(
        'aaaaa://host:port/hive/')
    df = pd.read_sql("""
          select * from table limit 100
    """, engine)
    return df
df = _sql_hive()
转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/280782.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号