概念原型验证

　　传统的数据仓库技术不能解决数据实时性的问题，而OLTP数据库又无法对决策支持系统的提供很好的支持。客户需要寻找一个处理混合负载的解决方案。

　　在实时地将OLTP产生的数据入库的同时，要满足即时查询的需求；为满足较快的查询响应时间，需要在常用的字段上建立索引；用户无法确定索引的存在对数据的加载有多大的影响。如果影响很大，如何解决这一进退两难的问题？

　　传统数据仓库技术即使做了数据分区，由于数据加载过程中需要维护索引，会引起数据加载将近10倍的性能下降，（无索引11000条/秒；有索引1000条/秒），在某些系统中，远远跟不上OLTP数据的产生速度（峰值8000条/秒），所以在数据的ETL过程中不能有索引。

　　如果没有索引，对于一个24亿条记录的表进行面向某一关键词的简单检索，就需要将近3小时。而如果有索引，同样的操作只需要20分钟。所以，没有索引数据检索不能满足业务的要求。

　　在数据加载的时候跳过索引的维护，可以提高数据加载的速度，但是会造成当前数据分区的索引失效，检索出错。

　　所以，我们需要一种新的技术来满足这种“实时数据仓库“的需要。

　　1、Application Re-Architecture（应用结构调整）。将当天的数据存放在单独的 一个表中，无索引，满足数据加载的要求。历史数据放在另一个表中，有索引。在两个表的上面建立一个统一的视图（view）供检索、挖掘使用，既满足了快速加载数据的需求，也保证了数据的完整性，同时由于可以利用大量历史数据的索引因而加快了检索的速度。每隔几十分钟/几个小时将当天的数据合并到历史表中。

　　2、资源管理。如何在一个混合负载的环境中合理、有效使用系统资源，既保证数据ETL的速度也满足查询响应的需求。惠普公司的 ODS manager 不但提供针对 混合 负载任务模式下操作系统资源的有效管理，而且是一个建立实时数据仓库的工具。ODS manager提供一套API，开发具有服务质量保证的混合负载的实时数据仓库。 如果您需要了解详细信息，请和我们联系。