1. impala简介:
Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
2. Impala Shell使用
Impala使用Hive SQL进行数据查询,因此Impala Shell在使用方面也效仿了Hive,在许多命令的用法上和Hive有相近之处,但使用细节又有所区别。
Impala Shell和Hive的相同之处:
使用Hive SQL进行数据查询;
在许多命令使用上是一样的。
Impala Shell和Hive的不同之处:
Hive对语句解析的结束标志是”;”,而Impala Shell对语句解析的结束标志是回车;
Hive对命令的错误信息相对Impala Shell比较详细;
Impala使用的SQL只是Hive SQL的子集。
-h:查看命令用法
-i :指定daemon的地址
-q:指定查询的sql语句
-B:格式化输出* 大量数据加入格式化,性能受到影响
–output_delimiter=character (指定分隔符与其他命令整合,默认是\t分割)
–print_header 打印列名(去格式化,但是显示列名字,默认不打印)
-v:查看版本号
-f :后跟查询文件
建议sql 语句写到一行,因为shell 会读取文件一行一行的命令
-o:数据数据到文件中
-r :刷新所有元数据(当hive创建表的时候,你需要刷新到,才能看到hive元数据的改变)
整体刷新,全量刷新,万不得已才能用;
不建议定时去刷新hive源数据,数据量太大时候,一个刷新,很有可能会挂掉;
3. 安装impala-shell(安装包见附件)
rpm -ivh impala-shell-2.5.0+cdh5.7.0+0-1.cdh5.7.0.p0.147.el6.x86_64.rpm
4. 执行查询
impala-shell -i 127.0.0.1 -q "select msisdn,sum(pv) as pv from test where day=20180706 group by msisdn order by sum(pv) desc" -B --output_delimiter="," -o "/home/test.txt"
相关推荐
HADOOP 文件系统SHELL; hive批处理、交互式SHELL; IMPALA介绍、支持的命令。
java操作Linux-shell命令的jar文件,java语言执行 Linux-cmd命令 java操作Linux-shell命令的jar文件,java语言执行 Linux-cmd命令 java操作Linux-shell命令的jar文件,java语言执行 Linux-cmd命令 java操作Linux-shell...
CDH集群升级至5.15并且启用Kerberos的情况下,在命令行使用impala-shell执行SQL操作会报如下异常: [cdh01.fayson.com:25003] > select count(*) from ods_user; Query: select count(*) from ods_user Query ...
电影收视率分析此示例显示了电影分级Web应用程序,该应用程序将分级事件记录到HDFS...我们需要告诉Impala刷新其元存储区,以便新的ratings表可见: impala-shell -q 'invalidate metadata ratings'然后我们可以发出查询
Cloudera安装部署集群搭建+yum本地源+数据库操作实例
Live#01-Abertura-全球环游世界Especialista:Curso#01-Linux:操作系统简介讲师: Curso#02-Curso#02-Shell脚本-Manipulando Arquivos 讲师:Especialista:Especialista:Especialista: Especialista:...
大数据与云计算教程课件 优质大数据课程 01.Hadoop简介与安装入门(共29页).pptx 大数据与云计算教程课件 优质大数据课程 02.MapReduce(共23页).pptx 大数据与云计算教程课件 优质大数据课程 03.Hadoop YARN(共...
大数据与云计算教程课件 优质大数据课程 01.Hadoop简介与安装入门(共29页).pptx 大数据与云计算教程课件 优质大数据课程 02.MapReduce(共23页).pptx 大数据与云计算教程课件 优质大数据课程 03.Hadoop YARN(共...
hadoop,zookeeper,hbase,hive,spark,kafka,flink,clickhouse,数据仓库,等等
此目录中的Docker脚本会生成CentOS 6 Docker VM并安装所有CDH组件(Hadoop,Spark,Hbase,Hive,Impala,Hue,Zookeeper,Oozie等)。 如何建立cdh容器? docker build -t docker-cdh54 . 如何运行cdh容器? ...
5. 数据仓库Hive和Impala部分考查了Hive/Impala在大数据生态中的定位、基本命令以及与传统数据仓库的区别。 6. Spark部分主要考查了Spark的特性、运行架构、编程模型、Scala语言与RDD等核心概念。 7. 流计算部分...
数据仓库Hive和Impala部分考查了Hive/Impala在大数据生态中的定位、基本命令以及与传统数据仓库的区别。 Spark部分主要考查了Spark的特性、运行架构、编程模型、Scala语言与RDD等核心概念。 流计算部分着重考查了流...
115_即席数仓_Presto安装及使用.avi 116_即席数仓_Presto优化.avi% @4 x# m3 } G# h 117_即席数仓_Druid概念、特点、场景.avi 118_即席数仓_Druid对比其他框架.avi7 C4 m1 z" }# n% h( F 119_即席数仓_Druid框架原理...
尽管HBase是一个非常有用的大数据存储,但是它的访问机制非常原始,并且只能通过客户端API,Map / Reduce接口和交互式Shell进行访问。 可通过Map / Reduce或接口机制(例如Apache Hive和Impala)或某些“本机” SQL...
大数据与云计算教程课件 优质大数据课程 01.Hadoop简介与安装入门(共29页).pptx 大数据与云计算教程课件 优质大数据课程 02.MapReduce(共23页).pptx 大数据与云计算教程课件 优质大数据课程 03.Hadoop YARN(共...
大数据与云计算教程课件 优质大数据课程 01.Hadoop简介与安装入门(共29页).pptx 大数据与云计算教程课件 优质大数据课程 02.MapReduce(共23页).pptx 大数据与云计算教程课件 优质大数据课程 03.Hadoop YARN(共...
2、熟悉Hadoop、Mpp、Oracle等至少一种数据仓库工具 3、具备良好的编程语言基础如:java/python/scala/c++/shell等 4、二本以上学历,计算机相关专业或者有相关培训经历者优先 5、 个人素质要求:目光长远、态度...
命令解析器Shell 2.3Hadoop⽣态体系 ⼤数据存储框架Hadoop 分布式服务管理框架zookeeper hadoop⾼可⽤HA 数据仓库hive 数据查询框架impala+kudu+clouderManager ⽇志采集传输框架flume/idea 分布式发布-订阅消息系统...
大数据与云计算教程课件 优质大数据课程 01.Hadoop简介与安装入门(共29页).pptx 大数据与云计算教程课件 优质大数据课程 02.MapReduce(共23页).pptx 大数据与云计算教程课件 优质大数据课程 03.Hadoop YARN(共...
可配置的CBOR和CSV输出(针对Impala / hadoop导入,不兼容RFC 4180)和可选的二进制CBOR输出。 模块化输出可轻松实现其他输出格式。 自动输出文件旋转和压缩或其他后处理(任何shell管道命令)。 通过配置文