dữ liệu lớn

DOI:10.22144/ctu.jsi.2017.006 GIẢI THUẬT ƯỚC LƯỢNG SỐ CỤM DỮ LIỆU CẢI TIẾN CHO TẬP DỮ LIỆU LỚN Dương Văn Hiếu, Trần Huy Long và Phạm Ngọc Giàu. Cây phủ tối thiểu, đồ thị tối ưu, tập dữ liệu lớn, tế bào hóa tập dữ liệu, ước lượng số cụm dữ liệu. Bài báo này trình bày một giải thuật ước lượng số cụm dữ liệu cải tiến dùng để ước lượng số cụm dữ liệu của tập dữ liệu lớn.

GIẢI THUẬT GIẢM GRADIENT NGẪU NHIÊN CHO PHÂN LỚP DỮ LIỆU LỚN

Độ phức tạp tối thiểu huấn luyện của giải thuật máy học SVM luôn là bậc 2 so với số lượng phần tử dữ liệu (Platt, 1999). Do đó, cần thiết phải có những cải tiến để giải thuật học SVM có thể xử lý được các tập dữ liệu với kích thước lớn về số phần tử cũng như số chiều.. Để cải tiến việc huấn luyện giải thuật máy học SVM cho các tập dữ liệu lớn.

Giải pháp nền tảng cho hệ thống tích hợp dữ liệu lớn và không đồng nhất

Cơ sở khoa học và thực tiễn của luận văn dựa trên các vấn đề về tích hợp và xử lý các dữ liệu không đồng nhất – Log, xml, meta-data hoặc các dữ liệu tƣơng tự. Để tổng quát kiểu dữ liệu nhƣ vậy luận văn chỉ đề cập tới các vấn đề xử lý tích hợp dữ liệu log tập trung.. Log cũng đƣợc coi nhƣ là dữ liệu lớn bởi vì kích thƣớc thƣờng xuyên tăng trƣởng theo thời gian. Việc quản lý log cũng là một ứng dụng xử lý dữ liệu lớn mà chúng ta thƣờng hay biết đến với nền tảng Hadoop.

ĐIệN TOáN ĐáM MÂY Và BàI TOáN Xử Lí Dữ LIệU LớN THEO MÔ HìNH ÁNH Xạ - RúT GọN

Trong lời dẫn của Hội thảo quốc tế về điện toán đám mây và dữ liệu lớn năm 2012 (http://www.cloudserviceresearch.com/bdc2012/) có đoạn viết “Gần đây, điện toán đám mây đã nổi lên như một công nghệ đầy hứa hẹn đối với việc xử lý dữ liệu lớn.”. Khái niệm dữ liệu lớn (big data) chưa có một định nghĩa thống nhất nhưng nó ám chỉ các tập dữ liệu có dung lượng rất lớn mà đơn vị đo thường là cỡ terabyte trở lên.

Bài toán tìm kiếm và rút trích thông tin từ những nguồn dữ liệu lớn sử dụng XML (XML Schema matching)

105637-TT-VN.pdf

Với một ưu điểm mạnh đó là tính linh động trong cấu trúc, XML có thể giải quyết được bài toán tương thích về cấu trúc của các nguồn dữ liệu lớn này. Khi vấn đề lưu trữ đã được giải quyết thì vấn đề quan tâm hàng đầu được đề cập đến là vấn đề khai thác dữ liệu. Bài toán tìm kiếm và rút trích dữ liệu trên nền XML là một chủ đề được quan tâm nhiều trong khía cạnh khai thác dữ liệu.

Đánh giá hiệu năng các hệ thống Inverted Index cho bài toán khai thác thông tin nhật kí giao dịch dựa trên bộ công cụ xử lý dữ liệu lớn Hadoop

BỘ CÔNG CỤ XỬ LÝ DỮ LIỆU LỚN HADOOP. LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN. Ngành: Công nghệ Thông tin. Chuyên ngành: Truyền dữ liệu và Mạng máy tính Mã số:. Hoàng Xuân Tùng, người đã tận tình hướng dẫn chỉ bảo tôi trong suốt thời gian dài thực hiện đề tài. Tôi xin chân thành cảm ơn các thầy cô trong trường Đại Học Công Nghệ - Đại Học Quốc Gia Hà Nội đã giảng dạy, truyền đạt và tạo điều kiện học tập tốt nhất cho tôi trong suốt thời gian học tập cũng như trong quá trình thực hiện luận văn..

Khai phá dữ liệu trong các cơ sở dữ liệu quan hệ lớn và các kho dữ liệu

Cú pháp đặc tả dữ liệu phù hợp nhiệm vụ. CÁC KỸ THUẬT KHAI PHÁ DỮ LIỆU TỪ CÁC CƠ SỞ DỮ LIỆU QUAN HỆ LỚN VÀ CÁC KHO DỮ LIỆU. Khai phá các luật kết hợp trong các cơ sở dữ liệu lớn. Khai phá các luật kết hợp nhị phân một chiều từ các cơ sở dữ liệu giao dịch. Khai phá các luật kết hợp đa mức từ các cơ sở dữ liệu giao dịch . Khai phá các luật kết hợp đa chiều từ các cơ sở dữ liệu quan hệ và các kho dữ liệu. Tích hợp các công nghệ kho dữ liệu và quy nạp cây quyết định.

Hướng đến một hệ thống tri thức dữ liệu lớn trong chẩn đoán xuất huyết não

Nạp một lượng lớn dữ liệu từ các nguồn dữ liệu thời gian thực hoặc nguồn dữ liệu khối vào trong HDFS không khả thi đối với các kỹ thuật truyền thống. Vì vậy, chúng tôi xem xét các công cụ thu nhận dữ liệu khác có tính khả thi hơn. Với dữ liệu khối, Apache Sqoop được dùng do tính hiệu quả trong việc xuất và nhập lượng lớn dữ liệu giữa HDFS và kho dữ liệu có cấu trúc như các cơ sở dữ liệu quan hệ.

Ứng dụng cơ sở dữ liệu song song trong xử lý dữ liệu cuộc gọi

Apache Pig: Pig là một nền tảng cho việc phân tích dữ liệu lớn bao gồm một ngôn ngữ mức cao để thể hiện các chương trình phân tích dữ liệu, cùng với cơ sở hạ tầng để đánh giá các chương trình này. Đặc tính nổi bật của Pig là thực thi chương trình tính toán song song, cho phép xử lý một lượng dữ liệu lớn.. Apache hive: Hive là một hệ thống data warehouse cho Hadoop để nó có thể dễ dàng tổng kết dữ liệu, truy vấn ad-hoc, và phân tích các bộ dữ liệu lớn được lưu trữ trong HDFS.

PHÂN LỚP DỮ LIỆU VỚI GIẢI THUẬT NEWTON SVM

Do đó, nếu số chiều dữ liệu n trong bậc nhỏ hơn 100 thì thậm chí số phần tử dữ liệu m lên đến hàng triệu, giải thuật lặp NSVM có thể phân lớp chúng trong vài giây trên một máy tính cá nhân.. Bảng 1: Giải thuật lặp NSVM. 3 GIẢI THUẬT ARC-X4-NSVM CHO PHÂN LỚP TẬP DỮ LIỆU LỚN. 3.1 Giải thuật NSVM cho dữ liệu có số chiều lớn nhưng ít phần tử.

Nghiên cứu và áp dụng một số kỹ thuật kghai phá dữ liệu với cơ sở dữ liệu ngầnh thuế Việt nam

000000208312.pdf

Toàn bộ quá trình dùng các phương pháp luận dựa trên tắnh toán, bao gồm các kỹ thuật mới ựể phát hiện ra tri thức từ dữ liệu ựược gọi là khai phá dữ liệu (data mining). [9] Khai phá dữ liệu là sự tìm kiếm thông tin mới, có giá trị và không tầm thường trong một khối lượng dữ liệu lớn. Hai mục ựắch chắnh của khai phá dữ liệu là ựể dự ựoán (prediction) và mô tả (description).

Phân cụm dữ liệu định danh với số chiều cao

Cùng với sự phát triển của ứng dụng công nghệ thông tin, khối lượng dữ liệu tăng nhanh đòi hỏi phát triển các kỹ thuật khám phá tri thức trên các dạng dữ liệu khác nhau trên dữ liệu lớn với độ phức tạp thấp. Mặt khác các kỹ thuật khám phá tri thức thường phải làm việc với dữ liệu quan hệ nhiều chiều với các thuộc tính giá trị định danh [16].

Phân đoạn dữ liệu video và ứng dụng

00050005734.pdf

Chính đặc tính liên tục và lƣợng dữ liệu lớn đã làm cho dữ liệu video trở nên thách thức hơn khi xử lý và thao tác. Hơn nữa, nội dung của dữ liệu video lại có dạng phân cấp đƣợc chia thành các đoạn, cảnh, khung hình và cả các đối tƣợng kèm theo hành động. Trong quá trình nỗ lực tìm kiếm lời giải cho bài toán x ử l ý liệu video, thì bài toán phân đoạn video đã xuất hiện.

Bài toán tìm kiếm và rút trích thông tin từ những nguồn dữ liệu lớn sử dụng XML (XML Schema matching)

105637.pdf

vndoc.com Xem trực tuyến Tải xuống

Ở lớp dữ liệu và kiểu nghĩa là sự tương đồng vừa ở mức kiểu và mức dữ liệu. Việc đánh giá sự tương đồng giữa dữ liệu thì thích hợp với việc tạo ra những cụm thông tin quan hệ đến cùng chủ đề. Hơn thế nữa, với sự tương đồng này, sự phân loại có thể tập trung trên những nội dung hay trên những cấu trúc dữ liệu liên quan.

Cách tách dữ liệu trong cột trên bảng tính Excel

Và dữ liệu của các ô excel này cũng được tách ra một cách nhanh chóng:. Và dữ liệu của các ô excel này cũng được tách ra trong nháy mắt:. Vậy là bạn đã biết cách tách dữ liệu trong cột rồi đó. Khi áp dụng thành thạo thủ thuật này thì với bất cứ dữ liệu lớn nào bạn cũng có thể nhanh chóng lọc ra được những phần dữ liệu cần thiết nhất để thao tác cho công việc của mình rất hiệu quả.

Phương pháp khai phá dữ liệu bằng cây quyết định và ứng dụng

234419.pdf

Nú thường được sử dụng để dự đoỏn giỏ trị dữ liệu hơn là dự đoỏn nhón lớp. Thống kờ cỏc dữ liệu, hoạt động hoàn toàn theo dữ liệu. Đõy là kỹ thuật nhúm cỏc mẫu dữ liệu tương tự nhau theo cỏc đặc trưng của chỳng. Kết quả thu được là cỏc tập mẫu được trớch chọn cỏc cơ sở dữ liệu lớn và chỳng cú thể chung một số tớnh chất nào đú. Quỏ trỡnh tiến húa khiến cho dữ liệu cú tớnh chất “thớch nghi” ngày càng cao.

Công nghệ lưới dữ liệu hỗ trợ chia sẻ dữ liệu trực tuyến

000000254948.PDF.pdf

Download Tải tệp xuống Quá trình truyền dữ liệu từ một máy tính tới một máy tính khác, thường là từ một hệ thống máy chủ lưu trữ (lớn hơn) tới một hệ thống máy khách (nhỏ hơn). Front End Tier Tầng giao tiếp Trong hệ thống, tầng giao tiếp đóng vai trò là cầu nối giữa người dùng và tầng lưới dữ liệu. Data Grid Tier Tầng lưới dữ liệu Trong hệ thống, tầng lưới dữ liệu là tầng đảm trách vai trò lưu trữ dữ liệu tệp và quản lý các máy chủ lưu trữ phân tán.

Công nghệ lưới dữ liệu hỗ trợ chia sẻ dữ liệu trực tuyến

000000254948-TT.PDF.pdf

1TÓM TẮT LUẬN VĂN THẠC SĨ Đề tài: Công nghệ lưới dữ liệu hỗ trợ chia sẻ dữ liệu trực tuyến Tác giả luận văn: Bùi Hải Phong Khóa: 10BCNTT Người hướng dẫn: TS. Phạm Đăng Hải a) L ý do chọn đề tài: Yêu cầu lưu trữ và chia sẻ dữ liệu của người dùng Internet ngày càng trở nên cần thiết. Từ thực tế đó, luận văn xây dựng một hệ thống cho phép người dùng lưu trữ dữ liệu một cách an toàn, phục vụ số lượng lớn người dùng.

Vấn đề bảo mật cơ sở dữ liệu trong cơ sở dữ liệu phân tán