Hive là gì

  -  

Thuật ngữ Big Data được sử dụng cho các bộ tập tài liệu lớn tưởng bao gồm khối lượng béo, tốc độ cao với các loại tài liệu đã tăng thêm từng giờ. Sử dụng các khối hệ thống thống trị tài liệu truyền thống cuội nguồn, vô cùng cực nhọc để cách xử lý Big data. Do đó, Quỹ ứng dụng Apabịt (Apache Software Foundation) vẫn reviews một framework tên là Hadoop để giải quyết những thách thức thống trị và xử lý Big data.

Bạn đang xem: Hive là gì

Hadoop

Hadoop là 1 trong những framework open-source để lưu trữ với cách xử trí Big data vào môi trường phân tán. Nó chứa nhị mô-đun, một là MapReduce và một mô-đun khác là Hệ thống tệp phân tán Hadoop (Hadoop Distributed File System - HDFS).

MapReduce: Đây là quy mô thiết kế tuy nhiên tuy nhiên nhằm cách xử lý một lượng Khủng dữ liệu gồm cấu trúc, buôn bán cấu trúc cùng không kết cấu bên trên các nhiều to của phần cứng thương thơm mại (commodity hardware).HDFS: Hệ thống tệp phân tán Hadoop là một phần của framework Hadoop, được áp dụng để lưu trữ cùng xử lý những cỗ tài liệu. Nó cung ứng một hệ thống tập tin chịu đựng lỗi để điều khiển xe trên phần cứng thương thơm mại.

Hệ sinh thái xanh Hadoop đựng các sub-project (tool) khác nhau như Sqoop, Pig với Hive được áp dụng để giúp đỡ những mô-đun Hadoop.

Sqoop: Nó được áp dụng nhằm nhập với xuất tài liệu mang đến với đi giữa HDFS và RDBMS.Pig: Đây là một trong những nền tảng ngôn từ giấy tờ thủ tục được sử dụng để cách tân và phát triển tập lệnh cho các hoạt động của MapReduce.

Xem thêm: Mô Hình Phân Tích Swot Là Gì? Phân Tích Mô Hình Swot Trong Kinh Doanh

Hive: Đây là 1 trong gốc rễ được thực hiện để cách tân và phát triển các tập lệnh loại Squốc lộ để tiến hành các vận động MapReduce.

Chụ ý: Có nhiều phương pháp không giống nhau nhằm tiến hành những hoạt động MapReduce:

Cách tiếp cận truyền thống lịch sử áp dụng lịch trình Java MapReduce đến tài liệu bao gồm kết cấu, chào bán kết cấu cùng không cấu tạo.Cách tiếp cận dùng câu lệnh mang lại MapReduce để cách xử lý dữ liệu tất cả cấu tạo và phân phối kết cấu bởi Pig.Ngôn ngữ truy hỏi vấn Hive (HiveQL hoặc HQL) cho MapReduce để xử trí tài liệu tất cả cấu trúc bởi Hive.Hive sầu là gì?

Hive là một trong những luật pháp hạ tầng kho tài liệu để cách xử lý dữ liệu bao gồm kết cấu trong Hadoop. Nó vị trí đỉnh Hadoop nhằm cầm tắt Dữ liệu béo và góp truy vấn và đối chiếu tiện lợi.

Ban đầu Hive được phát triển bởi Facebook, kế tiếp Quỹ Phần mượt Apabít đã đưa cùng trở nên tân tiến nó thành một mối cung cấp mlàm việc dưới tên Apabít Hive. Nó được áp dụng bởi các cửa hàng khác nhau. Ví dụ: Amazon thực hiện nó vào Amazon Elastic MapReduce.

Hive sầu không hẳn là:Một DataBase quan tiền hệMột kiến tạo nhằm cách xử trí thanh toán Online (OnLine Transaction Processing - OLTP)Một ngôn từ cho những truy vấn thời gian thực và cập nhật cấp cho hàngkhác lại của HiveNó tàng trữ lược vật dụng trong các đại lý dữ liệu cùng giải pháp xử lý tài liệu vào HDFS.Nó có thiết kế mang đến OLAP.Nó hỗ trợ ngữ điệu kiểu dáng Squốc lộ nhằm truy vấn được Gọi là HiveQL hoặc Hquốc lộ.Nó là rất gần gũi, lập cập, có công dụng mở rộng.Kiến trúc của Hive

Sơ vật dụng sau đây trình bày phong cách xây dựng của Hive:

*
Sơ đồ dùng yếu tắc này chứa các đơn vị chức năng khác nhau.

User Interface: Hive là 1 phần mượt hạ tầng kho tài liệu rất có thể tạo nên sự can dự thân người dùng cùng HDFS. Các đồ họa người dùng nhưng Hive sầu hỗ trợ là Hive Web UI, Hive command line với Hive sầu HD Insight (Trong máy chủ Windows).Meta Store: Hive sầu lựa chọn các sever đại lý tài liệu tương xứng để tàng trữ lược trang bị hoặc metadata của những bảng, cửa hàng tài liệu, những cột trong một bảng, các loại dữ liệu của bọn chúng cùng ánh xạ HDFS.HiveQL Process Engine: HiveQL tựa như như Squốc lộ để tầm nã vấn báo cáo lược đồ bên trên Metastore. Đây là một trong những giữa những thay thế sửa chữa của cách thức truyền thống lịch sử đến chương trình MapReduce. Thay vì chưng viết lịch trình MapReduce bởi Java, bạn cũng có thể viết một tróc nã vấn mang đến quá trình MapReduce và xử trí nó.Execution Engine: Phần phối kết hợp của lao lý xử lý Hivequốc lộ với MapReduce là Công thay thực thi Hive sầu (Hive Execution Engine). Công nuốm triển khai xử trí tróc nã vấn và chế tạo kết quả y hệt như công dụng MapReduce.HDFS hoặc HBASE: Hệ thống tệp phân tán Hadoop hoặc HBASE là những nghệ thuật lưu trữ tài liệu để lưu trữ dữ liệu vào khối hệ thống tệp.Cách thao tác làm việc của Hive

Sơ trang bị sau trình bày tiến trình thao tác làm việc giữa Hive sầu và Hadoop.

*

Cách Hive sầu tương tác với framework Hadoop:

Thực thi query: Giao diện Hive nlỗi Command line hoặc Giao diện người dùng web gửi tróc nã vấn mang đến Trình tinh chỉnh và điều khiển (bất kỳ trình điều khiển các đại lý tài liệu nào nhỏng JDBC, ODBC, v.v.) để tiến hành.Nhận kế hoạch: Trình điều khiển bao gồm sự trợ giúp của trình biên dịch truy vấn vấn để so với cú pháp tầm nã vấn để đánh giá cú pháp với planer tróc nã vấn hoặc thưởng thức của truy vấn vấn.Nhận metadata: Trình biên dịch gửi kinh nghiệm metadata mang lại Metastore (bất kỳ các đại lý dữ liệu nào).Gửi metadata: Metastore gửi metadata như một phản hồi đến trình biên dịch.Gửi kế hoạch: Trình biên dịch bình chọn những hiểu biết cùng gửi lại planer đến trình điều khiển và tinh chỉnh. Đến đây, bài toán đối chiếu cú pháp với biên dịch một truy nã vấn đã hoàn toàn.Kế hoạch thực hiện: Trình điều khiển gửi planer triển khai đến luật thực hiện.Thực thiết kế việc: Trong nội bộ, quy trình tiến hành công việc là 1 quá trình MapReduce. Công nạm tiến hành gửi các bước mang đến JobTracker, trong node Name với nó gán các bước này mang lại TaskTracker, trong node Data. Tại trên đây, truy hỏi vấn triển khai công việc MapReduce.

Xem thêm: Phân Cấp Công Trình Là Gì ? Khái Niệm Phân Cấp Công Trình Là Gì

Hoạt động metadata: Trong khi thực hiện, giải pháp triển khai có thể thực hiện những hoạt động metadata cùng với Metastore.Lấy kết quả: Công cầm triển khai dìm kết quả tự các node Data.Gửi kết quả: Công cố kỉnh thực thi gửi những quý hiếm hiệu quả đó mang lại trình tinh chỉnh và điều khiển.Gửi kết quả: Trình tinh chỉnh và điều khiển gửi tác dụng mang đến Giao diện Hive.