大数据干货 SQL优化方案精解十则

moment

大数据干货 SQL优化方案精解十则
应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，这里最好不要给数据库留NULL，尽可能的使用 NOT NULL填充数据库。

一、避免进行null判断
应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，这里最好不要给数据库留NULL，尽可能的使用 NOT NULL填充数据库。

备注、描述、评论之类的可以设置为 NULL，最好不要使用NULL。不要错误的认为NULL 不需要空间，如char(100) 型，在字段建立时，空间就固定了。不管是否插入值(NULL也包含在内)，都是占用 100个字符的空间的，如果是varchar这样的变长字段， null 不占用空间。可以在num上设置默认值0，确保表中num列没有null值。

二、不要使用select *
使用select *的话会增加解析的时间，另外也会把不需要的数据同时查询出来，从而延长数据传输时间，耗费精力。如text类型的字段，通常用来保存一些内容比较繁杂的东西，如果使用select *，则会把该字段也查询出来。

三、谨慎使用模糊查询
当模糊匹配以%开头时，该列索引将失效。若不以%开头，该列索引有效。

四、不要使用列号
使用列号的话，将会增加不必要的解析时间。

五、优先使用UNION ALL，避免使用UNION
因为UNION 会将各查询子集的记录做比较，故比起UNION ALL ，通常速度都会慢上许多。一般来说，如果使用UNION ALL能满足要求的话，务必使用UNION ALL。还有一种情况，如果业务上能够确保不会出现重复记录。

六、在where语句或者order by语句中避免对索引字段进行计算操作
当在索引列上进行操作之后，索引将会失效。正确做法应该是将值计算好再传入进来。

七、使用not exist代替not in
如果查询语句使用了not in 那么内外表都进行全表扫描，没有用到索引;而not extsts 的子查询依然能用到表上的索引。

八、exist和in的区别
in 是把外表和内表作hash 连接，而exists是对外表作loop循环，每次loop循环

再对内表进行查询。因此，in用到的是外表的索引， exists用到的是内表的索引。如果查询的两个表大小相当，那么用in和exists差别不大。如果两个表中一个较小，一个是大表，则子查询表大的用exists，子查询表小的用in。

九、避免在索引列上做如下操作
1.避免在索引列上使用IS NULL和IS NOT NULL。
2.避免在索引列上出现数据类型转换。(比如某字段是String类型，参数传入时是int类型)当在索引列上使用如上操作时，索引将会失效，造成全表扫描。。

十、复杂操作可以考虑适当拆成几步
有时候会有通过一个SQL语句来实现复杂业务的例子出现，为了实现复杂的业务，嵌套多级子查询。造成SQL性能问题。对于这种情况可以考虑拆分SQL，通过多个SQL语句实现，或者把部分程序能完成的工作交给程序完成。