- DataWarehouse và ứng dụng trong bài toán Quản lý cửa hàng bán lẻ xăng dầu. - Abstract: Trình bày các lý thuyết chung về kho dữ liệu và mô hình kho dữ liệu, phương pháp xây dựng và thiết kế CSDL cho kho dữ liệu. - Khái quát về bộ công cụ sử dụng để xây dựng kho dữ liệu là SQL Server 2008. - Giới thiệu về hệ thống quản lý cửa hàng bán lẻ xăng dầu đang được ứng dụng tại Tập đoàn xăng dầu Petrolimex. - Tìm hiểu phương pháp thiết kế một kho dữ liệu dựa trên cơ sở dữ liệu nguồn của hệ thống quản lý cửa hàng bán lẻ xăng dầu phục vụ cho việc khai thác báo cáo. - Bài toán quản lý. - Quản lý dữ liệu. - Khi đã có được các nguồn dữ liệu với khối lượng khổng lồ, phong phú và đa dạng về kiểu loại và được tổng hợp từ rất nhiều nguồn khác nhau, vấn đề nảy sinh là làm sao khai thác một cách có hiệu quả các nguồn dữ liệu đó đồng thời phải liên tục cập nhật và xử lý dữ liệu hiện đang sử dụng. - Dữ liệu có thường không nhất quán, dư thừa, khó khai thác và đặc biệt là không dùng được cho những ứng dụng hỗ trợ ra quyết định.. - Trong những năm gần đây, công nghệ kho dữ liệu ra đời đáp ứng được nhu cầu quản lý, đây là công nghệ đang phát triển rất mạnh và đã được ứng dụng rất nhiều trên thế giới hiện nay. - Nó cho phép ta tập trung được các nguồn dữ liệu thô khác nhau, tổ chức lại và xây dựng trên đó những công cụ phân tích hữu hiệu giúp cho người sử dụng, những nhà quản lý, lãnh đạo có thể thu được những thông tin thực sự hữu ích từ những dữ liệu đã có, giúp họ đưa ra được những quyết định nhanh chóng, chính xác trong công tác quản lý.. - Do đó, việc xây dựng kho dữ liệu có ý nghĩa hết sức quan trọng. - Kho dữ liệu sẽ thu thập dữ liệu từ các hệ thống nghiệp vụ, cung cấp các thông tin hữu ích về số lượng hàng tồn kho, sản lượng và doanh thu bán hàng, tình hình công nợ - tiền hàng… giúp cho các nhà quản lý có thể có những thông tin chính xác nhanh chóng, phục vụ cho công tác đánh giá kết quả kinh doanh, lập đơn hàng và điều độ hàng hóa, quản trị công nợ, kế hoạch hóa dòng tiền, hỗ trợ cho việc ra các quyết định kịp thời và có lợi nhất cho doanh nghiệp.. - Nghiên cứu lý thuyết về Datawarehouse, phương pháp tổ chức cơ sở dữ liệu đa chiều, phân tích và khai thác dữ liệu để trợ giúp ra quyết định.. - Ứng dụng lý thuyết nghiên cứu trong việc tổ chức cơ sở dữ liệu cho bài toán Quản lý cửa hàng bán lẻ xăng dầu bằng công cụ của Microsoft SQL Server 2008.. - Chương 1: Trình bày các lý thuyết chung về kho dữ liệu và mô hình kho dữ liệu, phương pháp xây dựng và thiết kế CSDL cho kho dữ liệu.. - Chương 3: Giới thiệu về bài toán Quản lý cửa hàng bán lẻ xăng dầu.. - CHƢƠNG I: KHO DỮ LIỆU (DATAWAREHOUSE) Định nghĩa Kho dữ liệu. - “Kho dữ liệu (Data Warehouse) là tập hợp của các CSDL tích hợp, hướng chủ đề, được thiết kế để hỗ trợ cho chức năng trợ giúp quyết định mà mỗi đơn vị dữ liệu đều liên quan tới một khoảng thời gian cụ thể”.. - Các đặc trƣng của kho dữ liệu. - Kho dữ liệu là một tập hợp dữ liệu có những tính chất sau:. - Dữ liệu gắn thời gian và có tính lịch sử - Dữ liệu chỉ đọc. - Dữ liệu không biến động - Dữ liệu tổng hợp và chi tiết. - Kiến trúc của kho dữ liệu. - Mô hình kiến trúc của kho dữ liệu cơ bản gồm có ba thành phần: Dữ liệu nguồn, khu vực xử lý và kho dữ liệu.. - Hình 1.1: Mô hình kiến trúc của kho dữ liệu 1.3.1 Nguồn dữ liệu. - Nguồn dữ liệu của kho dữ liệu có thể từ rất nhiều nguồn khác nhau và có cấu trúc dữ liệu khác nhau, bao gồm các hệ thống trong và ngoài của một tổ chức, rất phong phú về chủng loại. - Dữ liệu từ các hệ thống nguồn thường hỗn tạp và chứa nhiều cấu trúc khác nhau ví dụ:. - Vì thế trước khi đưa vào kho dữ liệu cần phải chuyển đổi và tích hợp dữ liệu.. - Dữ liệu phát sinh từ các hoạt động hàng ngày được thu thập, xử lý để phục vụ công việc cụ thể của một tổ chức thường được gọi là dữ liệu tác nghiệp và hoạt động thu thập xử lý loại dữ liệu này được gọi là xử lý giao dịch trực tuyến (OLTP).. - Dữ liệu tại các CSDL tác nghiệp được lấy từ nhiều nguồn khác nhau nên dễ bị nhiễu, hỗn tạp dẫn đến dữ liệu không sạch, không toàn vẹn. - Do đó việc kiểm tra dữ liệu, làm sạch dữ liệu phải được tiến hành ngay tại đây nhằm bảo đảm tính toàn vẹn, tính đúng đắn, tính nhất quán dữ liệu trước khi đưa vào kho dữ liệu đích. - Thông thường người ta sử dụng các công cụ trích xuất, chuyển đổi và nạp dữ liệu (ETL). - Công cụ này thực hiện các thao tác trích xuất dữ liệu, chuyển đổi dữ liệu, tải dữ liệu vào kho dữ liệu.. - 1.3.3 Kho dữ liệu. - Cơ sở dữ liệu của kho dữ liệu. - Siêu dữ liệu (Metadata). - Kho dữ liệu chủ đề (Datamart). - 1.3.4 Phƣơng pháp xây dựng kho dữ liệu. - Xây dựng kho dữ liệu vừa là một tiến trình công việc và cũng đồng thời là một kiến trúc nhằm thực hiện các nội dung như: lựa chọn, chuyển đổi, lưu chuyển, bảo toàn tính toàn vẹn, tích hợp, làm sạch dữ liệu, đưa dữ liệu từ nhiều nguồn dữ liệu tác nghiệp vào hệ thống quản lý cơ sở dữ liệu để phục vụ các quá trình ra quyết định.. - Thiết kế CSDL cho kho dữ liệu 1.4.1 Lƣợc đồ hình sao (Star). - 1.4.3 Mô hình dữ liệu nhiều chiều (lƣợc đồ kết hợp). - Hình 1.7: Lược đồ kết hợp Khai phá kho dữ liệu. - Khai phá dữ liệu là quá trình đi tìm kiếm các thông tin tiềm ẩn có giá trị trong các khối dữ liệu lớn. - Công cụ khai phá dữ liệu có thể phát hiện các thông tin mang tính dự đoán, hay các thông tin hỗ trợ cho việc ra quyết định của người quản lý doanh nghiệp.. - Quản trị kho dữ liệu Ứng dụng của kho dữ liệu. - Ngày nay, kho dữ liệu được triển khai trong các doanh nghiệp với nhiều mục đích khác nhau như tạo các báo cáo tổng hợp, tích hợp dữ liệu, quản trị doanh nghiệp thông minh (Business Intelligence), quản lý quan hệ khách hàng, khai phá dữ liệu.. - Xu hƣớng tƣơng lai của kho dữ liệu. - Trong tương lai xu hướng phát triển của kho dữ liệu bao gồm: quản lý dữ liệu phi cấu trúc, tìm kiếm dữ liêu, kiến trúc hướng dịch vụ và kho dữ liệu thời gian thực.. - CHƢƠNG II: CÔNG CỤ XÂY DỰNG DATAWAREHOUSE 2.1 Tổng quan về hệ quản trị cơ sở dữ liệu Microsoft SQL Server. - SSIS cung cấp công cụ để thiết lập luồng dữ liệu (DataFlow), các thành phần của luồng dữ liệu dùng để tạo ra tiến trình ETL. - DataFlow là thành phần quan trọng nhất trong một package của SSIS, bao gồm rất nhiều thành phần để thiết lập việc trích xuất, biến đổi dữ liệu, và nạp dữ liệu vào kho dữ liệu. - SSAS trong là một trong những dịch vụ chính của SQL Server 2008 dùng để xây dựng các chiều và cubes cho DWH, trong phiên bản mới này còn hỗ trợ một số thuật toán khai phá dữ liệu điều này cung cấp cho người quản lý có cái nhìn sâu sắc về dữ liệu của họ hơn. - Ngôn ngữ MDX (MultiDemensional eXpression) là ngôn ngữ truy vấn cho cơ sở dữ liệu nhiều chiều, nó tương tự ngôn ngữ SQL cho cơ sở dữ liệu dạng quan hệ, tuy nhiên đây là ngôn ngữ tính toán vì thế nó tương có cú pháp giống công thức của bảng tính.. - Cấu trúc của MDX giống như SQL nhưng mở rộng hơn để thao tác với cơ sở dữ liệu nhiều chiều. - Mệnh đề FROM xác định nguồn dữ liệu(cube) dùng để lấy dữ liệu. - Mệnh đề WHERE dùng để xác định chiều cắt dữ liệu , nhằm lọc dữ liệu đầu ra.. - SSRS là một dịch vụ của SQL Server, nó là hệ thống quản lý các báo cáo. - 2.6 Phƣơng pháp xây dựng kho dữ liệu bằng các công cụ của Microsoft SQL Server 2008. - Nguồn dữ liệu cho kho dữ liệu có thể bao gồm nhiều nguồn khác nhau. - Chúng ta sẽ dùng dịch vụ SSIS để xây dựng tiến trình ETL, lấy dữ liệu từ hệ thống nguồn và đẩy vào kho dữ liệu.. - Dữ liệu trong kho dữ liệu được lưu trữ dưới dạng mô hình cơ sở dữ liệu quan hệ sẽ được quản lý bởi hệ quản trị cơ sở dữ liệu quan hệ SQL Server, hoặc sử dụng dịch vụ SSAS để xây dựng nên OLAP Database.. - Cuối cùng ta sẽ dùng các công cụ BI và SSRS để trích xuất dữ liệu để xử lý hoặc tạo báo cáo cho người dùng xem. - Nếu trích xuất dữ liệu từ hệ quản trị cơ sở dữ liệu quan hệ ta sẽ dùng ngôn ngữ SQL thông thường hoặc dùng MDX để truy vấn trên cubes.. - Hình 2.5 Mô hình xây dựng kho dữ liệu. - Tại Tập đoàn xăng dầu Việt Nam: Thông tin từ hệ thống CHXD là một thành phần quan trọng không thể tách rời với hệ thống ERP của Tập đoàn Petrolimex bởi nó là dữ liệu đầu vào cho quá trình quản trị của doanh nghiệp Tập đoàn xăng dầu Việt Nam.. - Quản lý tiền hàng, công nợ. - Quản lý chi phí phát sinh tại cửa hàng. - Quản lý tồn kho….. - Hình 3.1 Mô hình tổng thể kiến trúc hệ thống Quản lý CHXD. - 3.2.2 Phân tách chức năng và dữ liệu giữa hệ thống Trung tâm và Cửa hàng. - Hình 3.2 Mô hình phân tách giữa Chức năng và Dữ liệu 3.2.3 Mô hình truyền thông. - Hình 3.3 Mô hình truyền thông 3.2.4 Phân loại dữ liệu. - Mô hình Agent truyền thông Phân tách Chức năng và Dữ liệu. - Dữ liệu chia sẻ Dữ liệu dùng. - Dữ liệu riêng. - #1 Dữ liệu riêng. - Hình 3.4 Phân loại dữ liệu. - 4.1 Thiết kế kho dữ liệu. - Kho dữ liệu được thiết kế gồm 2 kho dữ liệu chủ đề. - Kho dữ liệu hàng hóa: Doanh thu, sản lượng,…. - Kho dữ liệu kế toán: Quản lý công nợ, tiền hàng.... - 4.1.1 Kho dữ liệu chủ đề về Hàng hóa. - Đây là kho dữ liệu lưu giữ tổng hợp về doanh thu, sản lượng bán ra của các cửa hàng bán lẻ theo các tiêu chí: cửa hàng, khách hàng, loại hàng hóa, phương thức bán hàng, nguồn hàng, thời gian. - 4.1.2 Kho dữ liệu chủ đề về kế toán. - Đây là kho dữ liệu lưu giữ thông tin tổng hợp về tình hình thu, chi tiền mặt, ngân hàng, theo dõi công nợ khách hàng.. - Dữ liệu cho hệ thống bao gồm từ nhiều nguồn khác nhau: dữ liệu bán hàng, dữ liệu kế toán. - Đồ án sẽ sử dụng công cụ SSIS để ánh xạ dữ liệu từ hệ thống nguồn vào kho dữ liệu. - Các bước thực hiện bao gồm: Xây dựng lấy dữ liệu từ nguồn, biến đổi dữ liệu, xây dựng các ánh xạ dữ liệu, chạy các ánh xạ. - Phân nhóm dữ liệu. - Ánh xạ dữ liệu cho các chiều. - Ánh xạ dữ liệu cho các bảng sự kiện. - 4.3 Sử dụng dịch vụ SSAS để xây dựng các cơ sở dữ liệu nhiều chiều - Xây dựng cube cho kho dữ liệu chủ đề tổng hợp sản lượng.. - Xây dựng cube cho kho dữ liệu chủ đề kế toán 4.4 Sử dụng truy vấn MDX để lấy dữ liệu trên cube 4.5 Sử dụng dịch vụ SSRS để xây dựng các báo cáo.. - Luận văn đã trình bày tổng quan về kho dữ liệu bao gồm: những khái niệm cơ bản, các tính chất của kho dữ liệu, cấu trúc thành phần của kho dữ liệu, các loại hình kho dữ liệu và mô hình thiết kế cơ sở dữ liệu của kho dữ liệu.. - Tiếp theo luận văn cũng trình bày các công cụ của SQL Server 2008 trợ giúp cho việc phát triển và khai thác kho dữ liệu. - Đó là các dịch vụ SSIS, SSAS, SSRS trong MSSQL 2008 cho phép thiết kế, tổ chức lưu trữ và vận hành khai thác kho dữ liệu trên các môi trường khác nhau.. - Phần chính của luận văn tập trung vào việc vận dụng công nghệ về kho dữ liệu và các công cụ trợ giúp của MSSQL 2008 đồng thời áp dụng trong bài toán thực tế đang ứng dụng tại các CHXD của Petrolimex để phát triển kho dữ liệu cho hoạt động quản lý của Petrolimex.. - Luận văn cũng trình bày tổng quan về hệ thống Quản lý cửa hàng xăng dầu thuộc Petrolimex và những yêu cầu nghiệp vụ đặt ra cho hệ thống kho dữ liệu cần xây dựng.. - Qua kết quả làm luận văn, tôi sẽ cùng các đồng nghiệp trong công ty tiếp tục phát triển nghiên cứu để xây dựng một kho dữ liệu hoàn chỉnh cho hệ thống Quản lý CHXD