便宜VPS网hive的表连接中较小的表放在前面
hive.mapjoin.smalltable.filesize= 2500000；--早期hive版本小表文件大小设置默认25M。
建议采取td注入内存方式，即把小表在map阶段进行join. select /*+ MAPJOIN(td) */ 你可以试试效率的改变 还有建议将d9fqqid is null的条件放到前面，做成子表的方式，也可以减少join的笛卡尔乘积量。
说明：hive 的表存放位置模式是由 hive-site.xml 当中的一个属性指定的，默认是存放在该配置文件设置的路径下，也可在创建数据库时单独指定存储路径。
原因：对于左表中指定的一条记录，一旦在右表中找到立即停止扫描。如果所有表中有一张表足够小，则可置于内存中，这样在和其他表进行连接的时候就能完成匹配，省略掉reduce过程。
列裁剪就是在查询时只读取需要的列。当列很多或者数据量很大时，如果select 所有的列或者不指定分区，导致的全表扫描和全分区扫描效率都很低。Hive中与列裁剪优化相关的配置项是 hive.optimize.cp ，默认是 true 。
hive的几种连接方式
Hive 支持常用的 SQL Join 语句，例如内连接、左外连接、右外连接以及 Hive 独有的 map 端连接。其中 map 端连接是用于优化 Hive 连接查询的一个重要技巧。先准备三张表。
在使用Python连接hive之前，需要将hive安装包下的lib/py中的文件拷贝到python的sys.path中的site-packages下，否则引入对应的包会报错，这个是使用hive提供的Python接口来调用hive客户端。
left join 指左边连接”，left outer join 指 左边的外层连接，left semi join 指左边半连接。
如何使用kettle连接hive和hive2
1、HIVE基础语句 创建表 Hive的表，与普通关系型数据库，如mysql在表上有很大的区别，所有hive的表都是一个文件，它是基于Hadoop的文件系统来做的。 hive总体来说可以总结为三种不同类型的表。
2、Kettle的Spoon有丰富的Steps可以组装开发出满足多种复杂应用场景的数据集成作业，方便实现全量、增量数据同步。缺点是通过定时运行，实时性相对较差。
3、支持将配置保存为方案，以方便日后重新使用；针对不同的机器配置，可以选择单线程或多线程同步方式。通过灵活的方式（可按月/周/天/小时/分钟）设定程序不限次定时执行同步动作。
4、数据查询分析：Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能。Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
5、千万不要一上来就啃Python，可以先上手Exce+SQL这2个简单的数据分析工具来入门。有SQL基础后再学Python会相对容易些。数据分析师的成长路线 业务方向的数据分析师有2条发展路径。
6、对于大数据工程师而言，您至少要掌握以下技能：一门JVM系语言：当前大数据生态JVM系语言类的比重极大，某种程度上说是垄断也不为过。这里我推荐大家学习Java或Scala，至于Clojure这样的语言上手不易，其实并不推荐大家使用。
hive中不支持非等值连接,怎样实现
目前hive不支持 in或not in 中包含查询子句的语法，所以只能通过left join实现。假设有一个登陆表login(当天登陆记录，只有一个uid)，和一个用户注册表regusers(当天注册用户，字段只有一个uid)，这两个表都包含一个字段，uid。
Hive 中的 Join 只支持等值 Join，也就是说 Join on 中的 on 里面表之间连接条件只能是 = ，不能是 ， 等符号。此外，on中的等值连接之间只能是 and，不能是or。
-e后面接双引号的话，会导致反引号失效，导致shell认为$id是参数。解决方式：需要用hive -e 语句来执行，并且将语句中本来判断条件的单引号换为双引号，需要传参的地方，用双引号+单引号参数即参数的形式。
Hive中有两种join方式：map join和common join 如果不显式指定map side join，或者没有达到触发自动map join的条件，那么会进行reduce端的join，即common join，这种join包含map、shuffle、reduce三个步骤。
treesoft连接hive报500,数据库连接成功的,只是没把有哪些表查出来_百度...
1、下载的Treesoft程序中有个常见问题说明，可以查看一下，可能是你的Hive版本与程序不兼容导致的，可能要找到对应的Jar包更新一下程序。
2、这种情况要看你的具体需求，如果必须要查到结果，即使没有数据也要用空值顶替，那就应该使用外连接实现。
3、你的mysql_select_db的第二个参数$link_identifier没有值，即$mysql不能赋值给mysql_select_db.使得连接数据库失败。才使得mysql_query查询失败。
4、数据库中还有大量系统表的，所以我觉得你查某些模式下的表比较好：select count(*) from syscat.tables where tabschema=GPGP为某用户模式。当然也可以用select count(*) from syscat.tables where tabschema=GP查出所有表的数量。
对于hadoop伪分布式上的hive其他人怎么连接hive
1、刚好不久前做过一个，使用hadoop+hive+elasticsearch给公司做的BI。过程是这样的：数据由产生端向数据收集服务器发送请求，json文本形式存在收集服务器磁盘上。
2、之所以选择基于Linux系统用Python连接hive，是因为在window下会出现Hadoop认证失败的问题。
3、set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat； – 执行前进行小文件合并。
