- Tìm hiểu và cải tiến hệ thống kho dữ liệu trong ngân hàng. - Nghiên cứu hệ thống kho dữ liệu ngân hàng hiện có, từ đó phân tích, đánh giá và đưa ra các mặt hạn chế của hệ thống cũ. - Đề xuất hệ thống kho dữ liệu mới nhằm cải tiến các mặt hạn chế của mô hình cũ. - Phân tích, thiết kế và xây dựng hệ thống theo mô hình mới. - Thiết kế thêm hệ thống tập trung khai thác, phân tích và phân phối kho dữ liệu.. - Xây dựng được hệ thống kho dữ liệu thử nghiệm theo mô hình cho chương trình báo cáo sản phẩm tiền gửi.. - Cơ sở dữ liệu. - Ngân hàng. - Luận văn tìm hiểu và cải tiến hệ thống kho dữ liệu trong ngân hàng gồm 3 chương, 36 hình vẽ và 10 bảng.. - Chương 1: HỆ THỐNG KHO DỮ LIỆU Tổng quan kho dữ liệu. - Giới thiệu khái niệm, cấu trúc cơ bản của một hệ thống kho dữ liệu.. - Hệ thống kho dữ liệu trong ngân hàng. - Nghiên cứu, tìm hiểu hệ thống kho dữ liệu trong ngân hàng TMCP Đầu tư và Phát triển Việt Nam (BIDV).. - Kiến trúc của hệ thống kho dữ liệu ngân hàng:. - Kiến trúc của kho dữ liệu ngân hàng gồm 5 cấu phần:. - Dữ liệu nguồn (Source Data) 2. - Phân phối (User front-end). - Phân phối dữ liệu qua Excel, text file.... - Quá trình xử lý dữ liệu trong hệ thống kho dữ liệu ngân hàng:. - Quá trình xử lý kho dữ liệu ngân hàng gồm 3 bước:. - Chuẩn bị dữ liệu: Đẩy dữ liệu từ dữ liệu nguồn sang vùng tập kết (staging area), bắt đầu từ 2 giờ sáng, kết thúc lúc 3 giờ sáng.. - Chuyển đổi dữ liệu vào EDM: Trích xuất, chuyển đổi dữ liệu từ vùng tập kết sang EDM, kết thúc lúc 6 giờ 30 phút sáng.. - Chuẩn bị báo cáo: Đẩy dữ liệu từ vùng EDM sang Data mart và thực hiện các xử lý OLAP, dữ liệu đa chiều, dữ liệu khối. - Tất cả quá trình xử lý trong kho dữ liệu đều được thiết kế dưới dạng [ET][L] bằng công cụ DTS (Data Transformation Services) của SQL Server 2000.. - Đánh giá mặt hạn chế của hệ thống:. - Hệ thống ngân hàng thường hoạt động giao dịch từ 8 giờ sáng. - Quá trình chuẩn bị báo cáo hơn 10 giờ sáng mới kết thúc, điều này sẽ làm hệ thống AS/400 phải phân tải tài nguyên, một phần thực hiện giao dịch core-banking, một phần chuyển đổi kho dữ liệu, gây ảnh hưởng phần nào đó đến tốc độ giao dịch.. - Mặt khác việc kết thúc chuyển đổi kho dữ liệu quá muộn như vậy sẽ không đảm bảo xử lý kịp thời về mặt nghiệp vụ quản trị điều hành, nắm bắt các thông tin cần thiết một cách nhanh nhất.. - Khi vận hành xử lý chuyển đổi kho dữ liệu trong thời gian giao dịch từ 8 giờ sáng trở đi, hệ thống core- banking CPU chịu tải tăng thêm khoảng 20 – 30. - Quá trình xử lý chuẩn bị báo cáo hàng ngày đẩy khoảng 35 GB dữ liệu tới hơn 15 chương trình khác nhau phục vụ công tác quản trị điều hành.. - Sau hơn 10 năm hoạt động, số lượng tài khoản cũng như dữ liệu lịch sử lớn dần, quá trình chuyển đổi dữ liệu rất chậm chạp, phải mất hơn 8 tiếng, vận hành từ 2 giờ sáng tới hơn 10 giờ mới kết thúc.. - Thiếu hệ thống phân phối và khai thác báo cáo đến người sử dụng.. - Hiện tại chỉ cung cấp về mặt nền tảng công nghệ báo cáo OLAP cho BIDV, gần như chưa có mảng phân phối đến người sử dụng cuối. - Người sử dụng ở hội sở chính khai thác trực tiếp kho dữ liệu, cần qua hai tầng bảo mật:. - Phải có tài khoản của hệ điều hành do máy chủ kho dữ liệu cung cấp.. - Qua mức bảo mật ứng dụng hệ thống chỉ cho phép phân quyền theo file báo cáo (file Excel) mà người sử dụng được phép khai thác, chưa thiết lập phân quyền theo mức dữ liệu Cube trên OLAP Server.. - Chương 2: XÂY DỰNG HỆ THỐNG KHO DỮ LIỆU CẢI TIẾN Mục tiêu cần nâng cấp, cải tiến. - Hạn chế tối đa mức độ ảnh hưởng phân tải tài nguyên tới hệ thống core-banking của quá trình trích xuất, chuyển đổi kho dữ liệu trong thời gian giao dịch. - Rút ngắn thời gian quá trình chuẩn bị báo cáo một cách chính xác, đầy đủ và nhanh chóng, phục vụ báo cáo quản trị điều hành sớm nhất có thể được. - Mục tiêu rút ngắn thời gian chuyển đổi hiện tại, đảm bảo trước 9 giờ sáng chuyển đổi dữ liệu xong, phục vụ báo cáo cho nghiệp vụ.. - Với mục tiêu này, cần xây dựng lại mô hình trích xuất, chuyển đổi dữ liệu trong hệ thống kho dữ liệu.. - Cung cấp hệ thống khai thác và phân phối báo cáo chuyên nghiệp đến người sử dụng cuối (hội sở chính và các đơn vị chi nhánh).. - Ở mục tiêu này, luận văn dự kiến xây dựng thêm hệ thống khai thác và phân phối báo cáo tập trung.. - Phân tích và đề xuất mô hình hệ thống kho dữ liệu mới. - Phân tích cơ chế trích lọc dữ liệu, cơ chế OLAP, cơ chế khai thác và phân phối báo cáo của hệ thống cũ, từ đó đề xuất mô hình hệ thống kho dữ liệu mới như hình 2.5.1.1:. - Hệ thống tập trung Khai thác &. - Phân phối. - Mô hình hệ thống kho dữ liệu mới. - Quá trình “chuẩn bị báo cáo” từ EDM sang kho dữ liệu chuyên đề được thiết kế dưới dạng [E][T][L], giảm tải hệ thống core-banking một cách tối đa.. - Cơ sở dữ liệu chuyên đề, dữ liệu đa chiều được lưu dưới dạng ROLAP, rút ngắn được thời gian đảm bảo việc chuyển đổi dữ liệu, chuẩn bị báo cáo của kho dữ liệu trước 9 giờ sáng, phục vụ công tác quản trị điều hành của nghiệp vụ.. - Đề xuất một hệ thống tập trung khai thác, phân tích và phân phối kho dữ liệu như hình 2.5.4.2 dưới đây:. - Hệ thống tập trung khai thác, phân tích và phân phối kho dữ liệu. - Các cấu phần trong hệ thống tập trung khai thác, phân tích và phân phối kho dữ liệu trên hình 2.5.4.2:. - Tầng giao diện: Người sử dụng truy cập qua web để khai thác, phân tích báo cáo.. - Tầng ứng dụng: Cung cấp các ứng dụng, dịch vụ khi thực thi các yêu cầu từ tầng giao diện, phân trang dữ liệu khi truy vấn dữ liệu lớn.. - Active Directory là hệ thống phân quyền đang được ngân hàng sử dụng để đăng nhập vào hệ điều hành.. - Hệ thống tập trung sẽ sử dụng và xác thực vào Active Directory để khai thác, phân tích và phân phối kho dữ liệu.. - Cung cấp một tài khoản duy nhất để khai thác kho dữ liệu.. - Tầng dữ liệu: Các kho dữ liệu chuyên đề, dữ liệu đa chiều trong hệ thống kho dữ liệu.. - Chức năng của hệ thống tập trung khai thác, phân tích và phân phối kho dữ liệu:. - Hệ thống báo cáo tập trung. - Khai thác nhiều nguồn dữ liệu - Đặc tả dữ liệu. - Tạo báo cáo động. - Phân phối báo cáo theo nhiều định dạng: html, pdf, excel…. - Tích hợp, tương thích với nhiều hệ thống user: NTLM, Active Directory,.... - Test 1 (Single table): Trích xuất 1 bảng 4 triệu bản ghi, tương ứng dữ liệu khoảng 600MB. - Tổng dung lượng dữ liệu khoảng 5.9 GB. - Kết quả thực nghiệm cho thấy tốc độ xử lý khi thiết kế mô hình [E][T][L] dựa trên Datastage vượt trội hơn khi thiết kế [ET][L] trên DTS khi trích xuất đồng thời nhiều bảng dữ liệu cùng một lúc. - Đối với trích lọc dữ liệu cần các xử lý liên kết bảng và tính toán, mô hình [E][T][L] dựa nhiều vào hiệu năng máy chủ ETL, trong trường hợp này mô hình [ET][L] có phần nhỉnh hơn do hiệu năng core-banking mạnh hơn.. - Tuy nhiên mô hình [ET][L] làm core-banking phải chịu tải rất lớn, mô hình [E][T][L] lại không gây tải hệ thống core-banking.. - Chương 3: ÁP DỤNG HỆ THỐNG CẢI TIẾN CHO BÁO CÁO TIỀN GỬI. - Mô hình hệ thống kho dữ liệu thử nghiệm cho chương trình báo cáo sản phẩm tiền gửi:. - Mô hình logic:. - Mô hình vật lý:. - Thiết kế kho dữ liệu chuyên đề (CSDL SPTG). - Thiết kế dữ liệu đa chiều. - Thiết kế Job trích xuất dữ liệu. - Phân phối báo cáo. - Luận văn này bước đầu chứng tỏ được tính hiệu quả của hệ thống mới do tác giả đề xuất so với hệ thống hiện có. - Nếu được triển khai áp dụng sẽ cải tiến và tối ưu được hệ thống kho dữ liệu hiện tại, giảm tải hệ thống core-banking, mở ra một hướng mới trong phát triển bài toán phân tích và phân phối dữ liệu tại Ngân hàng BIDV, cung cấp công cụ chuyên nghiệp cho người lập trình tại Trung tâm CNTT cũng như người sử dụng cuối ở các bộ phận nghiệp vụ.. - Nghiên cứu hệ thống kho dữ liệu ngân hàng hiện có, từ đó phân tích, đánh giá và đưa ra các mặt hạn chế của hệ thống cũ.. - Đề xuất hệ thống kho dữ liệu mới nhằm cải tiến các mặt hạn chế của mô hình cũ, trong đó:. - Thay đổi cơ chế trích lọc dữ liệu từ thiết kế dưới dạng [ET][L] và [EL][T] sang dạng [E][T][L].. - Chuyển đổi kho dữ liệu từ mô hình MOLAP sang mô hình ROLAP.. - Xây dựng thêm hệ thống tập trung khai thác, phân tích và phân phối kho dữ liệu đến người dùng cuối, người sử dụng chỉ cần duy nhất một tài khoản đăng nhập hệ thống.. - Trong tương lai, nếu các kho dữ liệu chuyên đề hoặc chương trình báo cáo phục vụ công tác quản trị điều hành được phát triển trên hệ thống này, hiệu quả kinh tế sẽ được phát huy rõ rệt. - Người sử dụng có thể chủ động sử dụng công cụ này để tự khai thác và xây dựng các báo cáo nghiệp vụ.. - Đỗ Trung Tuấn (1998), Cơ sở dữ liệu quan hệ, NXB Giáo dục.. - Ullman (1999), Nguyên lý các hệ cơ sở dữ liệu và cơ sở tri thức, Biên dịch : Trần Đức Quang tập 1, tập 2, NXB Thống kê.