- XÂY DỰNG KHO DỮ LIỆU VÀ BÁO CÁO QUẢN TRỊ BI CHO TẬP ĐOÀN VINGROUP VỚI HỆ THỐNG SAP BOBI. - TỔNG QUAN KHO DỮ LIỆU VÀ BÁO CÁO BI. - Kho dữ liệu (Data warehouse. - Kho dữ liệu. - Đặc điểm của Kho dữ liệu. - Lợi ích của Kho dữ liệu. - Cấu trúc Kho dữ liệu. - Mô hình thực thể trong Kho dữ liệu. - QUY TRÌNH ETL TRONG KHO DỮ LIỆU ERROR! BOOKMARK NOT DEFINED.. - 2.1.2 Vai trò của ETL trong kho dữ liệu. - Kỹ thuật ETL trong kho dữ liệu. - 2.3.1 Xác định nguồn dữ liệu. - 2.3.2 Kỹ thuật trích xuất dữ liệu. - 2.3.3 Kỹ thuật làm sạch và chuyển đổi dữ liệu. - 2.3.4 Tải dữ liệu vào kho dữ liệu. - XÂY DỰNG KHO DỮ LIỆU VÀ BÁO CÁO BI TRÊN HỆ. - 3.1 Kiến trúc Kho dữ liệu SAP BW. - 3.2 Xây dựng Kho dữ liệu cho tập đoàn VIN trên SAP BW. - 3.2.2 Phân tích thiết kế hệ thống. - Xây dựng Kho dữ liệu. - 3.3.1 Quy trình lấy dữ liệu tích hợp cho các chiều phân tích (Dimension. - Hinh 1.1 – Tích hợp dữ liệu. - 8 Hình 1.2 – Tính thời gian của dữ liệu. - Hình 1.3 – Cơ chế hoạt động của Data Warehouse. - Hình 1.4 – Kiến trúc của Kho dữ liệu. - Hình 1.5 – Quy trình ETL. - Hình 1.6 - Sự phân cách giữa ODS và DW. - Hình 1.7 – Dữ liệu theo mô hình sao. - Hình 1.8 - Mô hình bông tuyết. - Hình 1.9 – Mô hình chòm sao. - Hình 1.10 Các thành phần của BI. - Hình 1.11 Các thành phần chính của BI. - Hình 2.1 tiến trình ETL nằm ở nguồn dữ liệu. - Hình 2.2 - Tiến trình ETL nằm ở server chứa kho dữ liệuError! Bookmark not defined.. - Hình 2.3 - Tiến trình ETL nằm ở server trung gian. - Hình 3.1 – Kiến trúc SAP BW. - Hình 3.2 – Luồng dữ liệu trong SAP BW. - Hình 3.3 – Sơ đồ luồng dữ liệu. - Hình 3.4 – Danh sách các Dimension của hệ thống. - Hình 3.3 – Function Module trích xuất dữ liệu nguồn. - Hình 3.4 – Tạo Datasource. - Hình 3.5 – Thông tin Datasource. - Hình 3.7 – Công cụ SAP BW Workbench. - Hình 3.8 – Thông tin chung Chiều phân tích. - Hình 3.9 – Bảng chứa dữ liệu của đối tượng. - Hình 3.10 – Thông tin về cây của đối tượng Hierachy . - Hình 3.11 Thông tin thuộc tính của chiều phân tích. - Hình 3.12 – Transfromation nạp dữ liệu cho chiều phân tíchError! Bookmark not defined.. - Hình 3.13 – Loading dữ liệu vào chiều phân tích. - Hình 3.14 – Kết quả Transfromation. - Hình 3.15 – Thành phần dữ liệu của ODS. - Hình 3.16 Transformation của ODS. - Hình 3.17 – Thông tin Model CAPEX. - Hình 3.18 – Lập trình ROUTINE tính toán chuyển đổi sang Model từ ODS. - Hình 3.19 – File Transformation Rules. - Hình 3.20 – File Conversions Rules. - Hình 3.21 – Kết quả sau khi nạp dữ liệu chuyển đổi. - Hình 3.22 – Thông tin Query truy vấn dữ liệu từ Model CAPEXError! Bookmark not defined.. - Hình 3.23 – Restricted Key Figure. - Hình 3.24 Báo cáo BI với BEx Analyzer. - Hình 3.25 – Hiển thị báo cáo BI dạng đồ họa. - Cùng với việc áp dụng rộng rãi Công nghệ Thông tin vào trong hầu hết các lĩnh vực trong đời sống, kinh tế, xã hội đó là việc dữ liệu thu nhận được qua thời gian ngày càng nhiều.Vì vậy, yêu cầu thiết yếu đặt ra đối với các doanh nghiệp đó là việc khai thác các dữ liệu này một cách hiệu quả để phục vụ cho việc kinh doanh ngày càng tốt hơn. - Tập đoàn VinGroup đã chọn giải pháp SAP BOBI để xây dựng kho dữ liệu và báo cáo tài chính. - Luận văn này với đề tài "Xây dựng Kho dữ liệu và Báo cáo quản trị BI cho Tập đoàn Vin Group với Hệ thống SAP BOBI ". - giới thiệu về kho dữ liệu, phương pháp OLAP và ứng dụng trong phân tích Doanh thu, lợi nhuận trong các báo cáo tài chính của tập đoàn VinGroup bằng hệ thống tiên tiến trên thế giới SAP BOBI.. - Tổng quan Kho dữ liệu và báo cáo BIGiới thiệu tổng quan về kho dữ liệu, cấu trúc kho dữ liệu, các thành phần của kho dữ liêu, cách thiết kế kho dữ liệu và ứng dụng của kho dữ liệu trong thiết kế báo cáo BI.. - Quy trình ETL trong Kho dữ liệu Giới thiệu tổng quan về kỹ thuật ETL tích hợp chuyển đổi dữ liệu từ hệ thống nguồn vào Kho dữ liệu.. - Chương 3Xây dựng Kho dữ liệu và Báo cáo trên hệ thống SAP BOBIXây dựng và cài đặt dữ liệu trong Kho dữ liệu trên nền tảng công nghệ SAP BPC để lưu trữ theo yêu cầu nghiệp vụ, lập trình tính toán chuyển đổi dữ liệu vào Kho dữ liệu cho Tập đoàn Vin Group.. - TỔNG QUAN KHO DỮ LIỆU VÀ BÁO CÁO BI 1.1. - Kho dữ liệu (Data warehouse). - Năm 1988, có một bài báo mô tả định nghĩa đầu tiên về kiến trúc kho dữ liệu . - Kho dữ liệu là tuyển tập các cơ sở dữ liệu tích hợp, hướng chủ đề, được thiết kế để hỗ trợ cho chức năng trợ giúp quyết định.. - Kho dữ liệu thường rất lớn tới hàng trăm GB hay thậm chí hàng Terabyte. - Kho dữ liệu được xây dựng để tiện lợi cho việc truy cập theo nhiều nguồn, nhiều kiểu dữ liệu khác nhau sao cho có thể kết hợp được cả những ứng dụng của các công nghệ hiện đại và kế thừa được từ những hệ thống đã có sẵn từ trước.. - Nó được dùng để giải quyết các vấn đề gặp phải khi một tổ chức cố gắng phân tích chiến lược từ số liệu trong một hệ thống database được dùng chung với hệ thống xử lý dữ liệu trực tuyến (OLTP).. - Một hệ thống OLTP điển hình được đặc trưng bởi một hệ thống có nhiều người sử dụng đồng thời để thêm, sửa, xóa dữ liệu. - Ví dụ như một hệ thống bán lẻ, có nhiều nhân viên bán hàng đồng thời cùng nhập và chỉnh sửa dữ liệu vào hệ thống. - cùng một hệ thống database này cho mục đích lên báo cáo thống kê, phân tích có thể chấp nhận được do khối lượng dữ liệu ít, ít người dùng. - Nhưng trong một hệ thống với khối lượng dữ liệu hàng chục triệu đến trăm triệu bản ghi trên một bảng thì việc khai thác dữ liệu chung trên cùng một hệ thống database OLTP là không thể chấp nhận được vì thời gian xử lý dữ liệu rất lâu, làm cho tài nguyên hệ thống trở nên quá tải và có thể làm cho toàn bộ hệ thống bị tê liệt.. - Hệ thống OLTP được thiết kế cho mục đích thu thập dữ liệu, khối lượng dữ liệu càng càng càng lớn khiến cho nhu cầu phân tích càng trở nên cấp thiết hơn. - Tuy nhiên database trong OLTP được thiết kế cho mục đích thu thập số liệu thường phải tối ưu hóa cả về không gian lưu trữ lẫn chuẩn hóa trong thiết kế tuân thủ nghiêm ngặt theo mô hình dữ liệu quan hệ. - Khi có nhu cầu phân tích, khai thác dữ liệu thông qua các báo cáo sẽ phát sinh các vấn đề:. - Khó xây dựng truy vấn vì các database nẳm ở các server khác nhau - Việc phân quyền không cho phép người dùng có thể lấy dữ liệu chi tiết - Các câu truy vấn với dữ liệu lớn có thể khiến hệ thống bị tê liệt. - Nếu lên dữ liệu từ cùng hệ thống OLTP thì mỗi lẫn chạy báo cáo thì hệ thống phải thực hiện lại một lần việc truy xuất và tổng hợp dữ liệu. - Ngoài ra có thể dữ liệu lại được lưu trữ trên nhiều vùng địa lý, trên nhiều nguồn dữ liệu khác nhau (file excel, Oracle, SQL Server, ms access. - Data warehouse và hệ thống phân tích dữ liệu trực tuyến (Online Analytical Processing - OLAP) cung cấp các giải pháp để giải quyết các vấn đề trên. - Dữ liệu được tổ chức để tạo thuận lợi cho các truy vấn phân tích chứ không phải cho việc xử lý các giao dịch. - Sự khác biệt về cấu trúc dữ liệu được lưu trữ trên nhiều nguồn dữ liệu không đồng nhất sẽ được giải quyết. - Những quy tắc thống nhất sẽ được áp dụng khi hợp nhất dữ liệu từ các hệ thống không đồng nhất sang data warehouse. - Tính bảo mật và hiệu suất có thể được cải thiện mà không cần phải thực hiện bất kỳ sửa đổi nào trên hệ thống dữ liệu gốc. - Các đặc trưng của Kho dữ liệu:. - Tính tích hợp: Dữ liệu trong Dataware house được tổ chức theo nhiều cách khác nhau sao cho phù hợp với các quy ước đặt tên, thống nhất về số đo, cơ cấu mã. - hóa và cấu trúc vật lý của dữ liệu. - Tính tích hợp thể hiện ở chỗ : Dữ liệu trong kho dữ liệu được tập trung từ nhiều nguồn và được ghép với nhau tạo thành một thể thống nhất.. - Hướng chủ đề: Dữ liệu trong Dataware house được tổ chức theo các chủ đề phục vụ cho những tổ chức dễ dàng xác định được những thông tin cần thiết trong từng hoạt động của mình. - Dữ liệu gắn thời gian và có tính lịch sử: Một kho dữ liệu bao hàm một khối lượng lớn khối lượng lịch sử. - Dữ liệu trong Dataware house được gọi là các ảnh chụp dữ liệu (data snapshort), mỗi bản ghi phản ánh những giá trị của dữ liệu tại một thời điểm nhất định thể hiện một khung nhìn của một của một chủ điểm trong một giai đoạn. - Yếu tố thời gian đóng vai trò như một phần của khóa để đảm bảo tính đơn nhất của mỗi bản ghi và cung cấp đặc trưng về thời gian cho dữ liệu. - Dữ liệu trong CSDL tác nghiệp cần phải chính xác ở chính thời điểm truy cập, trong khi ở Dataware house chỉ cần có hiệu lực trong một khoảng thời gian nào đó, trong khoảng 5 năm đến 10 năm hoặc lâu hơn. - Dữ liệu của CSDL sau một thời gian nhất định sẽ trở thành dữ liệu lịch sử và chúng sẽ được chuyển vào kho dữ liệu.