Mondrian
Mondrian是一個開源項目。一個用Java寫成的OLAP(在線分析性處理)引擎。它用MDX語言實現查詢,從關系數據庫(RDBMS)中讀取數據。然后經過Java API用多維的方式對結果進行展示。
我們都知道,在線分析處理(OLAP)要實時地分析大量數據。“online”這個詞的含義就是即使相關的數據量是巨大的——可能以GB為單位——系統也要足夠快的響應以顯示結果。
OLAP用了多維分析的技術。盡管關系型數據庫所存儲的所有數據都是以行和列的形式存在的,但一個多維數據集還是可以由軸(axes)和單元(cell)組成。
?
在上面的例子中,時間是個維度(dimension),而它下面的層次(Hierarchies)又分為半年、季度等級別(Level)。
二、感性認識——運行一個小實例
我們暫時先不討論Mondrian所用到的一些技術。我們可以先從一個小例子開始,不必在意每個細節,只是希望大家有個感性認識先。在實施這個例子的過程中,或許讀者就能見些端倪。
首先應該到http://sourceforge.net/projects/mondrian/下載mondrian的最新版本。這是一個zip包,包括我們要用到的lib和一個例子。
當然,讀者完全可以運行mondrian自帶的實例,不過這個例子有些紛繁復雜,除了Mondrian本身還有其它技術在里面,不大容易講清楚,也不太適合初學者學習。所以,筆者在這里設計一個簡潔干凈的最小化實例。
本文所闡述的實例環境是Windows2000+Tomcat+Oracle。并且認為讀者已經針對jdk和Tomcat做了正確的開發環境的設置。
2.1準備工作
將pentaho/mondrian/lib下的mondrian.war解壓后放到%Tomcat%/webapp/下面
2.2數據庫結構
在這個tiny的系統中,數據庫有3個表tb_employee(職員表),tb_time(時間表),tb_salary(薪酬表)。表結構如下:
drop table tb_employee;
create table tb_employee
(
???? employee_id???? number,???????????? --職員id????
???? employee_name?? varchar2(10)??????? --職員姓名
);
?
drop table tb_time;
create table tb_time
(
??? time_id?? number,??????? --時間id
??? the_year? char(4),?????? --年
??? the_month char(2)??????? --月
);
?
drop table tb_salary;
create? table tb_salary
(
??? employee_id? number,??????????????? --職員id???
??? time_id????? number,??????????????? --時間id
??? salary?????? number(19,4)?????????? --薪酬
);
?
當然,為了使系統能夠運行,還需要讀者向數據庫表中插入一些數據。
insert into tb_employee(employee_id,employee_name)values(001,'婭婭');
insert into tb_time(time_id,the_year,the_month)values(1,'2011','05');
insert into tb_salary(employee_id,time_id,salary)values(001,'1','5000');
insert into tb_employee(employee_id,employee_name)values(002,'梅梅');
insert into tb_time(time_id,the_year,the_month)values(2,'2011','04');
insert into tb_salary(employee_id,time_id,salary)values(002,'2','10000');
insert into tb_employee(employee_id,employee_name)values(002,'芳芳');
insert into tb_time(time_id,the_year,the_month)values(3,'2011','04');
insert into tb_salary(employee_id,time_id,salary)values(003,'3','10000');
2.3根據數據庫表的結構,書寫schema文件
<?xml version="1.0"?>
<Schema name="Mondrian">
<Cube name="CubeTest">
??? <Table name="TB_SALARY" />
???
??? <Dimension name="Employee"? foreignKey="EMPLOYEE_ID" >
??????? <Hierarchy hasAll="true" primaryKey="EMPLOYEE_ID">?????????
??????????? <Table name="TB_EMPLOYEE" />
??????? <Level name="employeeId" column="EMPLOYEE_ID"?? uniqueMembers="true" >
??????????????? <Property name="employeeName" column="EMPLOYEE_NAME"/>
??????????? </Level>
??????? </Hierarchy>
??? </Dimension>
??? <Dimension name="Time" foreignKey="TIME_ID" >
??????? <Hierarchy? hasAll="false" primaryKey="TIME_ID" >
??????????? <Table name="TB_TIME" />
??????????? <Level name="year" column="THE_YEAR" uniqueMembers="false" />
??????????? <Level name="month" column="THE_MONTH" uniqueMembers="false" />
??????? </Hierarchy>
??? </Dimension>???????
???
??? <Measure name="Salary" column="SALARY" aggregator="sum" />
??? </Cube>
</Schema>
?
文件路徑為mywebapp/WEB-INF/test.xml
2.4利用MDX查詢?? mywebapp/test.jsp
<%@ page import="mondrian.olap.*"%>
<%@ page import="java.io.PrintWriter" %>
<%
?Connection connection = DriverManager.getConnection("Provider=mondrian;Jdbc=jdbc:oracle:thin:hibuser/password@localhost:1521:orcl;? Catalog=file:///F:/pentaho/biserver-ce/tomcat/webapps/mondrian/WEB-INF/queries/test1.xml; JdbcDrivers=oracle.jdbc.driver.OracleDriver;",null);????
?String queryStr="select {[Measures].[Salary]} ON COLUMNS,{[Employee].[employeeId].Members} ON ROWS from CubeTest ";
?
?Query query =connection.parseQuery(queryStr);
?Result result = connection.execute(query);
PrintWriter pw = new PrintWriter(System.out);
result.print(pw);
pw.flush();
System.out.println("successful!");
%>
?
2.5運行
這時啟動tomcat,在瀏覽器地址欄中輸入
http://localhost:8080/mondrian/test.jsp即可。
三、深入探討
3.1 API
mondrian為客戶端應用程序提供了API接口以進行查詢。 而這些API對于任何用過JDBC的人都會覺得似曾相識的。主要的不同點是查詢語言的不同:Mondrian用的是MDX('Multi-Dimensional eXpressions'),而JDBC則用的是SQL。
和JDBC一樣,也是要經過建立連接,形成查詢語句,執行查詢得到結果集等幾個步驟的。
我們來看看mondriantest.jsp的代碼
第1行:import mondrian.olap.*
這是引入我們所需的類,下面要用到的DriverManager、Connection、Query、Result都在這個package內。這個package一般位于mondrian.jar中。
第2行:Connection connection =
? DriverManager.getConnection
("Provider=mondrian;????????????????
?Jdbc=jdbc:oracle:thin:@xxx.xxx.xxx.xxx:1521:dbname;
JdbcUser=dbuser;????????????????????????????????????
?JdbcPassword=dbpasswd;???????????????????????????????
Catalog=file:///c:/Tomcat4.1/webapps/mywebapp/WEB-INF/mondriantest.xml;
JdbcDrivers=oracle.jdbc.driver.OracleDriver;",null,false);?
通過DriverManager創建一個Connection的實例,建立起數據庫連接。
其中Jdbc=jdbc:oracle:thin:@xxx.xxx.xxx.xxx:1521:dbname; 是設置數據庫的ip和庫名。JdbcUser=dbuser;? 設置數據庫用戶。JdbcPassword=dbpasswd;?? 設置用戶密碼。而
Catalog=file:///c:/Tomcat4.1/webapps/mywebapp/WEB-INF/mondriantest.xml; 就是設置MDX語句查詢要對應的schema文件的路徑
第3行:String queryStr=
"select {[Measures].[Salary]} ON COLUMNS,
{[Employee].[employeeId].Members} ON ROWS
from CubeTest ";
形成MDX的查詢語句。MDX語句的形式和schema文件的設定是密切相關的,當然schema文件的形成也是由數據庫結構決定的。
第4行:Query query =connection.parseQuery(queryStr);對MDX語句進行分析處理,是否符合schema文件定義、數據庫結構和數據庫數據。
第5行:Result result = connection.execute(query);執行查詢,得到結果集。
我們發現Query類似于JDBC的Statement,而Result則酷似于ResultSet。
3.2 schema
3.2.1什么是schema
schema定義了一個多維數據庫。包含了一個邏輯模型,而這個邏輯模型的目的是為了書寫MDX語言的查詢語句。這個邏輯模型實際上提供了這幾個概念:Cubes,維度(Dimensions), 層次(Hierarchies),級別(Levels),和成員(Members)。
而schema文件就是編輯這個schema的一個xml文件。在這個文件中形成邏輯模型和數據庫物理模型的對應。
3.2.2 schema的邏輯結構
3.2.2.1 Cube
一個Cube是一系列維度(Dimension)和度量(Measure)的集合區域。在Cube中,Dimension和Measure的共同地方就是共用一個事實表。
例:
<Cube name="CubeTest">
??? <Table name="TB_SALARY" />
?? …….
</Cube>
<Table>標簽確定了所用的事實表的表名。
3.2.2.2 Measure
一個度量,簡單的說,就是要被計算的值。
例:
<Measure name="Salary" column="SALARY" aggregator="sum" />
<Measure>標簽有3個必要的屬性name(度量名),column(在事實表中的字段名), aggregation(聚合所用的方法)。
3.2.2.3 Dimenesion
而維度一般有其相對應的維度表。
例:
<Dimension name="Time" foreignKey="TIME_ID" >
??????? <Hierarchy? hasAll="false" primaryKey="TIME_ID" >
??????????? <Table name="TB_TIME" />
??????????? <Level name="year" column="THE_YEAR" uniqueMembers="false" />
??????????? <Level name="month" column="THE_MONTH" uniqueMembers="false" />
??????? </Hierarchy>
</Dimension>
一般Dimesion包含層次(Hierarchy),而hierarchy是由級別(Level)組成。
<Dimension>標簽的foreignKey是事實表中的字段,<Hierarchy>標簽的primaryKey是維度表中的字段,通過這種方式把事實表和維度表關聯起來。<Hierarchy>標簽下的<Table>標簽就指明了維度表名。而若干個Level對應著維度表的若干字段。
3.3 MDX語言
MDX是為了查詢多維數據的,而SQL是為了查詢關系數據庫的。而Mondrian所涉及到的一些MDX概念、MDX語法以及系統定義的MDX函數和微軟的MDX十分接近,差別微小。完全可以參考微軟的幫助文檔進行學習。在此就不在贅述。
四、結語
Mondrian作為基于java的OLAP引擎,而且是開源的項目,為那些基于java的項目而要脫離微軟構架但又不得不對大量數據進行分析的項目又提供了一種可行的方案。希望它也能象蒙得里安·皮特對抽象藝術的發展產生影響一樣起到一定的作用。
總結
- 上一篇: 深度学习方面的学术交流平台?
- 下一篇: linux 内核配置sdio,linux