- HỆ THỐNG KHO DỮ LIỆU. - 13 1.1 Tổng quan kho dữ liệu. - 13 1.2 Kiến trúc chung của kho dữ liệu. - 13 1.3 Mô hình logic của kho dữ liệu. - 14 1.4 Mô hình dữ liệu đa chiều. - 15 1.5 Hiện trạng hệ thống kho dữ liệu trong ngân hàng BIDV. - 15 1.5.2 Kiến trúc của kho dữ liệu trong ngân hàng. - 16 1.5.3 Đánh giá các mặt hạn chế của hệ thống kho dữ liệu hiện tại. - 17 1.5.3.1 CSDL dùng cho bài toán kho dữ liệu. - 17 1.5.3.2 Công cụ trích lọc dữ liệu. - 18 1.5.3.4 Mô hình thiết kế kho dữ liệu. - 19 1.6 Một số giải pháp công nghệ mới về kho dữ liệu. - XÂY DỰNG HỆ THỐNG KHO DỮ LIỆU ĐÁP ỨNG HIỆU NĂNG XỬ LÝ CHO NGÂN HÀNG. - 22 2.2 Phạm vi dữ liệu đầu vào. - 23 2.2.5 Dữ liệu từ các kênh giao dịch. - 23 2.3 Mô hình tổng thể kho dữ liệu mới. - 23 2.4 Các thành phần của kho dữ liệu mới. - 24 2.4.1 Cơ sở dữ liệu. - 24 2.4.2 Công cụ trích lọc dữ liệu. - 38 2.4.4.4 Mô hình thực thể dữ liệu. - THIẾT KẾ CHI TIẾT KHO DỮ LIỆU VÀ ÁP DỤNG VỚI BÀI TOÁN PHÂN TÍCH KHÁCH HÀNG. - 44 3.2 Thiết kế chi tiết kho dữ liệu mới. - 62 3.2.3 Luồng trích xuất xử lý dữ liệu. - Quy trình chạy ETL dữ liệu hàng ngày. - 77 3.3.2.1 Truy vấn và tính toán trên 1 bảng dữ liệu. - 78 3.3.2.2 Truy vấn và tính toán trên 2 bảng dữ liệu. - 79 3.3.3 So sánh tốc độ xử lý của công cụ trích xuất dữ liệu. - 81 9 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1 Kiến trúc cơ bản của kho dữ liệu. - 14 Hình 1.2 Mô hình dữ liệu đa chiều. - 15 Hình 1.3 Kiến trúc kho dữ liệu trong ngân hàng. - 16 Hình 2.1 Mô hình tổng thể kho dữ liệu mới. - 62 Hình 3.10 Quy trình chạy ETL dữ liệu hàng ngày. - 77 Hình 3.22 Kết quả của 3 lần thực nghiệm về thời gian truy vấn dữ liệu. - Là trung tâm của các hệ thống phân tích thông tin, dữ liệu toàn ngân hàng sẽ được hợp nhất tại kho dữ liệu. - Do đó hiệu năng xử lý dữ liệu của kho dữ liệu trong ngân hàng cần được nâng cao để đáp ứng được nhu cầu khai thác sử dụng của tổ chức tài chính ngân hàng. - Với thực trạng hiện nay của ngân hàng chưa có một hệ thống kho dữ liệu tổng thể, thống nhất toàn hàng, chưa đáp ứng tốt về hiệu năng và tồn tại khá nhiều hạn chế. - Nghiên cứu đánh giá hiện trạng, các hạn chế của hệ thống kho dữ liệu hiện tại trong ngân hàng. - Đề xuất mô hình kiến trúc hệ thống kho dữ liệu mới nhằm giải quyết các hạn chế của hệ thống kho dữ liệu cũ trong đó bao gồm các thành phần bổ sung chính như sau: a. - Hạ tầng của kho dữ liệu bao gồm: Cơ sở dữ liệu chuyên dụng cho bài toán kho dữ liệu, kiến trúc cho phép mở rộng về mô hình các công cụ trích lọc dữ liệu, công cụ phân tích và khai thác báo cáo. - Mô hình của kho dữ liệu: Nghiên cứu và áp dụng mô hình kho dữ liệu tiên tiến của IBM. - Thiết kế thử nghiệm với hệ thống báo cáo phân tích khách hàng nhằm đánh giá hiệu năng xử lý của kho dữ liệu mới. - Dữ liệu được tổ chức xung quanh các chủ đề chính như khách hàng, sản phẩm, dịch vụ, v.v. - Dữ liệu của kho dữ liệu chỉ có hai thao tác là thêm mới và đọc dữ liệu. - Biến thời gian cũng là một khóa chính để đảm bảo tính duy nhất của dữ liệu. - 1.2 Kiến trúc chung của kho dữ liệu Mô hình kiến trúc cơ bản [2] của kho dữ liệu cơ bản gồm bốn thành phần như sau: Dữ liệu nguồn: dữ liệu từ các hệ thống khác nhau (bao gồm dữ liệu có cấu trúc và phi cấu trúc) được tập kết lại vào một nơi duy nhất. - Thông thường người ta sử dụng các công cụ trích xuất, chuyển đổi và nạp dữ liệu (ETL). - Kho lưu trữ dữ liệu: là nơi dữ liệu được xử lý và được tập kết, lưu trữ. - Người dùng cuối: là người dùng khai thác thông tin từ kho dữ liệu. - Dữ liệu đa chiềuSản phẩmKhách hàng Hình 1.2 Mô hình dữ liệu đa chiều. - Ở hình 1.2 khối dữ liệu gồm có 3 chiều: khách hàng, sản phẩm, thời gian. - Hệ thống báo cáo kho dữ liệu: là hệ thống báo cáo phân tích đa chiều lớn gồm hàng trăm báo cáo dựa trên công nghệ của Microsoft. - 16 1.5.2 Kiến trúc của kho dữ liệu trong ngân hàng Hệ thống kho dữ liệu trong ngân hàng được xây dựng và duy trì từ năm 2005 đến nay, được thiết kế bởi nhà thầu Silverlake. - Hình 1.3 mô tả hệ thống kho dữ liệu hiện tại của ngân hàng. - Như vậy về tổng quan kho dữ liệu hiện tại của ngân hàng được nhìn dưới ba góc độ về hạ tầng như sau. - Cơ sở dữ liệu dùng cho bài toán kho dữ liệu: Cơ sở dữ liệu DB2 được tích hợp sẵn trên máy chủ AS400 (máy mainframe. - CSDL dùng cho bài toán kho dữ liệu. - Công cụ trích lọc dữ liệu. - Mô hình thiết kế của kho dữ liệu. - Từ đó đưa ra hướng giải pháp mới nhằm nâng cao hiệu quả về hiệu năng xử lý của kho dữ liệu. - Hiện nay với việc xử lý dữ liệu đầu ngày khoảng 300G đã gây ra áp lực rất lớn lên hệ thống ETL của ngân hàng. - Dữ liệu trong kho dữ liệu mới chỉ được cung cấp tại Hộ sở chính mà chưa được phân phối trên toàn ngân hàng. - Hiện tại IBM đang cung cấp hai giải pháp chính và chuyên dụng cho bài toán khai thác, phân tích báo cáo theo mô hình kho dữ liệu. - kho dữ liệu xây dựng trên cơ sở dữ liệu DB2. - Dữ liệu đa chiều cube xây dựng trên Inforsphere warehouse gắn chặt với cơ sở dữ liệu DB2. - 1.7 Kết luận Nội dung chương này đề cập tới khái niệm kho dữ liệu, kiến trúc chung của kho dữ liệu và một số mô hình logic thường sử dụng trong kho. - Thống nhất mô hình dữ liệu để đảm bảo việc khai thác dữ liệu từ tất cả các nguồn hiện có trong toàn ngân hàng. - 2.2 Phạm vi dữ liệu đầu vào Hệ thống kho dữ liệu mới xác định sẽ lấy dữ liệu đầu vào từ các nguồn sau. - o Khu vực SOR (System of Record): linh hồn của kho dữ liệu bao gồm tầng Atomic và Summary được thiết kế theo chuẩn của IBM Banking Data Model. - Tốc độ quét dữ liệu có thể lên 145TB/hr, tốc độ load dữ liệu tối thiểu 2TB/hr. - Hệ thống tuân thủ việc tăng tốc phân tích bằng cách tập trung xử lý tại kho dữ liệu thay vì xử lý tại máy chủ khai thác báo cáo. - 2.4.2 Công cụ trích lọc dữ liệu Hệ thống tích hợp dữ liệu IBM DataStage thuộc một trong các công cụ trong bộ sản phẩm IBM Information Server. - Tính năng này đã giải quyết triệt để vấn đề dùng Excel để khai thác dữ liệu đối với hệ thống kho dữ liệu cũ. - Tập trung được toàn bộ hệ thống báo cáo của toàn ngân hàng tại một nơi điều này giúp người dùng chỉ cần vào một nơi để khai thác dữ liệu. - Là nơi định nghĩa các dữ liệu cho bài toán phân tích và báo cáo chính là kết quả đầu ra của kho dữ liệu. - Cấu trúc thực thể chung Mô hình BDW được sử dụng bởi các tổ chức tài chính để xây dựng kho dữ liệu. - Điều này là do cách chuẩn hóa trong mô hình dữ liệu được tổ chức. - Phiên bản ngắn của tên được sử dụng để tạo ra mô hình dữ liệu vật lý. - Các thực thể tổng kết Được sử dụng để ghi lại một bản chụp dữ liệu hàng ngày. - Việc chia sẻ đảm bảo dữ liệu thống nhất và giảm thời gian cho các hệ thống báo cáo. - Phần cứng mở: Có thể cho phép triển khai trên bất kỳ hệ quản trị cơ sở dữ liệu nào (Oracle. - Ngoài ra kho dữ liệu mới còn cung cấp cho ngân hàng một hệ thống khai thác và phân phối báo cáo tập trung cho toàn hàng. - Việc thực hiện Giao dịch Kho dữ liệu thường được định hướng theo hai nguyên tắc: 1. - 3.2.2.4 Cấu trúc Dimension Công cụ báo cáo yêu cầu dữ liệu thứ bậc của dimension được 'trải' ra. - Bước 1: Load dữ liệu CFMAST trên STAGING vào bảng CFMAST_PREDAY. - ETL_DATE ứng với dữ liệu quá khứ. - Bước 1: Chạy dữ liệu cho Chi nhánh - Bước 2: Chạy dữ liệu cho Phòng, ban. - Bước 3: Chạy dữ liệu cho thông tin Khách hàng. - o Bước 3.a: Thêm mới dữ liệu vào SoR đối với các Involved Party thêm mới, căn cứ vào REC_IND = ‘I’. - o Bước 3.a: Thêm mới dữ liệu vào SoR đối với các Arrangement thêm mới, căn cứ vào REC_IND = ‘I’. - Dữ liệu này sẽ được dùng để cập nhật IND_UPDATE ở bước 2.b. - o Bước 2.b: Cập nhật IND_UPDATE = ‘U’ nếu dữ liệu chỉ thay đổi đối với các trường Type 1. - Sau đây là 3 thử nghiệm với mục đích đánh giá thời gian ảnh hưởng tới máy chủ khi tính toán dữ liệu. - Giảm tải hoàn toàn cho hệ thống Core Banking - Rút ngắn tổng thời gian có thể cung cấp dữ liệu khai thác cho người dùng. - Tổng dung lượng dữ liệu tăng lên mà thời gian ảnh hưởng tới hệ thống Core Banking gần như không đáng kể. - Sau đó áp dụng kho dữ liệu mới vào bài toán phân tích khách hàng. - Cuối cùng tác giả đã áp dụng kho dữ liệu mới vào bài toán phân tích khách hàng, một trong nhiều nhu cầu cơ bản của ngân hàng thương mại. - Kho dữ liệu chưa có điều kiện thử nghiệm tích hợp từ các nguồn dữ liệu có độ phức tạo cao như hệ thống Kondor (giao dịch nguồn vốn, vàng, ngoại tệ, chứng khoán). - Từ đó dẫn đến dữ liệu mới nhất trong kho chỉ là t-1. - Tối ưu luồng xử lý đề giảm thời gian vận hành của kho dữ liệu hàng ngày, đẩy thời gian sẵn sàng về báo cáo của ngân hàng lên càng sớm càng tốt. - 83 Trong tương lai, kho dữ liệu có thể áp dụng vào các bài toán phân tích nghiệp vụ khác như: phân tích giá vốn (Fund Transfer Pricing), quản lý tài sản công nợ (Asset Liablity Management) hay quản trị rủi ro (Risk Management)
Xem thử không khả dụng, vui lòng xem tại trang nguồn hoặc xem
Tóm tắt