网站首页
IC库存
IC展台
电子资讯
技术资料
PDF文档
我的博客
IC72论坛
ic72 logo
资料首页最新产品 技术参数 电路图 设计应用 解决方案 代理商查询 IC替换 IC厂商 电子辞典
关键字: 技术文章 PDF资料 IC价格 电路图 代理商查询 IC替换 IC厂商 电子辞典

数据库技巧:如何进行年度数据仓库分区

    又到创建分区的时候,支撑一个数据仓库,一个重要的工作就是添加分区。一般的大型企业,都会每年做一次这样的分区维护,添加下一财务年度的分区。

    我支撑的Campbell DW,大约有20T的数据量,现有分区,子分区约50万,分布在4个数据库,6个架构里面。每年每个架构需要添加大约4万个分区/子分区。每做一次这样的工作就意味着一场战役,在较短的维护窗口内要确保100%成功的完成这个工作,唯一的方式就是做非常详细的准备工作。

    1.子分区模板

    客户随着业务的发展往往会改变分区的设计,比如我们90%的FACT表都是以时间(年,月,季度,周,天)进行分区,然后按分公司划分子分区。客户的业务在扩展到新的地区后(有了新的分公司数据),就会要求添加,修改子分区设计。这个时候,就得对子分区模板进行修改。分区模板可以在Dba_Subpartition_Templates中找到,分区定义信息是存储在一个LONG的字段里面。对它进行修改,确定新的模板。当然,我们不可能靠手工去做这样的时候,我们写了脚本对分区模板进行分析和产生新的分区模板脚本,从而避免人工错误。

    2.添加新分区的方式。

    在处理海量的分区的时候添加分区,是最愚蠢的方式。最好的方式是从默认分区进行分割。分割分区的脚本量比添加分区小很多,而且不容易出错。不过必须注意的是,为了使得新分区模板生效,你必须放弃,重新创建默认分区。这样分割分区的时候,才会产生和新模板对应的分区。

    3.你的默认分区有数据吗?

    如果要放弃,重新创建默认分区,你的默认分区有数据吗?如果有,请考虑你的备份方式。

    如果默认分区的数据特别大,然后又不能够较早的被分裂进新分区,那么很可能就会影响你分割分区的性能。这个时候,建议备份数据,截短分区。在添加分区完成后,再导入。

    4.你空间足够吗?

    每个分区都有一个初始化大小,我们环境里面是80K。可以通过分区数*size精确估算出需要的空间大小。确保在整个过程中,不会发生空间错误。

    5.时间估算

    分裂一个分区在当前服务器大概需要多少时间?然后估算出整个过程需要的时间。我们一个架构大概需要10小时。

    6.索引的时间和空间

    不得不说的一个问题就是全局索引,虽然我们尽量避免创建全局索引。但根据业务需求,还是创建了近800GB的全局索引。

    添加分区会使得这个800GB索引失效,重建索引其实是整个工作中一个非常重要的部分。时间的估算,需结合索引的并行度。ORACLE有一个非常恼人的bug,就是BITMAP索引高并行度重建后,有可能发生内部崩溃。我目前只能采用3~5的程度,因为连续两年的经验证明parallel 10 会触发bug。另外还得重建的新的索引分区。

    当然重建索引的临时表空间你足够吗?

    7.创建batch脚本

    超过10万个分区命令肯定不能手工写。不过也不难,通过SQLPLUS和SPOOL命令批量创建脚本。

    对脚本进行验证。

    8.运行脚本 验证结果

    这一步,很简单。nohup sh DW_2011.sh &

    验证结果是非重要,确保你没有任何错误。分区的错误,带给业务的影响是很大,所以一定要确保100%成功。可以通过查询你的log和数据库视图来确认。

    手工处理错误或异常。这个过程可能触发多种ORACLE bug(10g,11.2目前我没遇到bug)。

    9.重建索引

    10.总结

    所有的日志、脚本、步骤,总结成一个文档,存档以备后查。

    通过这些步骤,能够确保顺利完成年度分区这个大活,从而确保你的客户在商业上取得成功。

 

热门搜索:B30-7100-PCB PDU1215 PS-415-HGULTRA SBB1002-1 2986122 PSF2408 PS-415-HG TLP76MSG TLP604 TW-E41-T1 TLM615SA 2866569 RBC11A ADC128S102CIMTX 2320296 2838228 PDUMH15 TLP712 02C1001JF 602-15 TLP808 2920120 1553DBPCB TLM626SA 02B5000JF
COPYRIGHT:(1998-2010) IC72 达普IC芯片交易网
客户服务:service@IC72.com 库存上载:IC72@IC72.com
(北京)联系方式: 在线QQ咨询:点击这里给我发消息 联系电话:010-82614113 传真:010-82614123
京ICP备06008810号-21 京公网安备 11010802032910 号 企业资质