Tự học AWS | Kinesis trong Amazon Web Services là gì? » http://139.180.218.5

Bài này tất cả chúng ta và cafedev sẽ khám phá về API Kinesis là gì ? trong AWS, trước khi tất cả chúng ta mở màn sử dụng AWS một cách thuận tiện hơn .

Hiểu về Kinesis

Trước khi biết về Kinesis, bạn nên biết về tài liệu phát trực tuyến .

1. Truyền dữ liệu là gì ?

Dữ liệu truyền trực tuyến là tài liệu được tạo liên tục từ hàng nghìn nguồn tài liệu và những nguồn tài liệu này hoàn toàn có thể gửi những bản ghi dữ liệu đồng thời với size nhỏ .

1.1 Sau đây là những ví dụ về tài liệu truyền trực tuyến :

• Mua hàng từ các cửa hàng trực tuyến(Purchases from online stores)
  Mọi người mua hàng trên amazon.com và tạo dữ liệu phát trực tuyến và dữ liệu truyền trực tuyến có thể là giao dịch, sản phẩm, v.v.
• Giá(Stock prices)
  cổ phiếu Giá cổ phiếu cũng là một ví dụ về truyền dữ liệu.
• Dữ liệu trò chơi(Game data)
  Giả sử người dùng đang chơi trò chơi chim nổi giận và ứng dụng đang tạo dữ liệu truyền trực tuyến trở lại máy chủ trung tâm. Dữ liệu phát trực tuyến này có thể là “người dùng đang làm gì”, “điểm số là bao nhiêu”.
• Dữ liệu mạng xã hội Dữ liệu mạng(Social network data)
  xã hội cũng là một ví dụ khác về dữ liệu truyền trực tuyến. Giả sử bạn truy cập trên Facebook, cập nhật trạng thái của mình và đăng một bài đăng trên tường của bạn bè. Tất cả những dữ liệu này sau đó sẽ được truyền trực tuyến.
• Dữ liệu không gian địa lý(Geospatial data)
  Khi bạn đang sử dụng uber và thiết bị của bạn được kết nối với internet. Ứng dụng Uber liên tục thông báo rằng tài xế uber đang ở đâu, bạn đang ở đâu và nó đang thẩm vấn bản đồ để cung cấp cho bạn tuyến đường tốt nhất có thể đến điểm đến của bạn. Đây cũng là một ví dụ điển hình về truyền dữ liệu.
• Dữ liệu cảm biến iOT(iOT Sensor Data)
  Nó cảm nhận nhiệt độ giám sát trên toàn thế giới.

2. Kinesis là gì ?

Kinesis là một nền tảng trên AWS gửi tài liệu phát trực tuyến của bạn. Nó giúp bạn thuận tiện nghiên cứu và phân tích tài liệu phát trực tuyến tải và cũng phân phối năng lực để bạn kiến thiết xây dựng những ứng dụng tùy chỉnh dựa trên nhu yếu kinh doanh thương mại của mình .

3. Dịch Vụ Thương Mại cốt lõi của Kinesis

• Kinesis Streams
• Kinesis Firehose
• Kinesis Analytics

3.1 Kinesis Streams

• Các luồng Kinesis bao gồm các mảnh.
• Shards cung cấp 5 giao dịch mỗi giây để đọc, lên đến tổng tốc độ đọc dữ liệu tối đa là 2MB mỗi giây và lên đến 1.000 bản ghi mỗi giây để ghi lên đến tổng tốc độ ghi dữ liệu tối đa là 1MB mỗi giây.
• Dung lượng dữ liệu của luồng của bạn là một hàm của số lượng phân đoạn mà bạn chỉ định cho luồng dữ liệu. Tổng dung lượng của luồng Kinesis là tổng dung lượng của tất cả các phân đoạn.

Kiến trúc của Kinesis Stream

Giả sử tất cả chúng ta có EC2, điện thoại di động, máy tính xách tay, IOT đang tạo ra tài liệu. Họ được gọi là nhà phân phối khi họ tạo ra tài liệu. Dữ liệu được chuyển đến những luồng Kinesis và được tàng trữ trong phân đoạn. Theo mặc định, tài liệu được tàng trữ trong những phân đoạn trong 24 giờ. Bạn hoàn toàn có thể tăng thời hạn lưu giữ lên 7 ngày. Khi tài liệu được tàng trữ trong những phân đoạn, thì bạn có những thành viên EC2 được gọi là người tiêu dùng. Họ lấy tài liệu từ những mảnh và biến nó thành tài liệu hữu dụng. Khi người tiêu dùng đã triển khai đo lường và thống kê của nó, thì tài liệu có ích sẽ được chuyển đến một trong những dịch vụ AWS, tức là DynamoDB, S3, EMR, Redshift .

3.2 Kinesis Firehouse

• Kinesis Firehose là một dịch vụ được sử dụng để cung cấp dữ liệu trực tuyến đến các điểm đến như Amazon S3, Amazon Redshift, Amazon Elasticsearch.
• Với Kinesis Firehouse, bạn không phải quản lý tài nguyên.

Kiến trúc của Kinesis Firehose

Giả sử bạn có EC2, điện thoại di động, máy tính xách tay, IOT đang tạo ra tài liệu. Họ còn được gọi là đơn vị sản xuất. Các đơn vị sản xuất gửi tài liệu đến Kinesis Firehose. Kinesis Firehose không phải quản trị những tài nguyên như phân đoạn, bạn không phải lo ngại về những luồng, bạn không phải lo ngại về việc chỉnh sửa bằng tay thủ công những phân đoạn để theo kịp tài liệu, v.v. Nó trọn vẹn tự động hóa. Bạn không phải lo ngại ngay cả về người tiêu dùng. Dữ liệu hoàn toàn có thể được nghiên cứu và phân tích bằng cách sử dụng một hàm Lambda. Khi tài liệu đã được nghiên cứu và phân tích, tài liệu sẽ được gửi trực tiếp đến S3. Việc nghiên cứu và phân tích tài liệu là tùy chọn. Một điều quan trọng về Kinesis Firehouse là không có hành lang cửa số lưu giữ tự động hóa, nhưng luồng Kinesis có hành lang cửa số lưu giữ tự động hóa với thời hạn mặc định là 24 giờ và hoàn toàn có thể lê dài lên đến 7 ngày. Kinesis Firehose không hoạt động giải trí như thế này. Về cơ bản, nó nghiên cứu và phân tích hoặc gửi tài liệu trực tiếp đến S3 hoặc vị trí khác .

Vị trí còn lại hoàn toàn có thể là Dịch chuyển đỏ. Đầu tiên, bạn phải ghi vào S3 và sau đó sao chép nó vào Redshift .

Nếu vị trí là cụm tìm kiếm Elastic, thì tài liệu được gửi trực tiếp đến cụm tìm kiếm Elastic .

3.4 Kinesis Analytics

Kinesis Analytics là một dịch vụ của Kinesis, trong đó tài liệu truyền trực tuyến được giải quyết và xử lý và nghiên cứu và phân tích bằng cách sử dụng SQL chuẩn .

Kiến trúc của Kinesis Analytics

Chúng ta đã có được kinesis firehose và kinesis stream. Kinesis Analytics cho phép bạn chạy các Truy vấn SQL của dữ liệu tồn tại trong kinesis firehose. Bạn có thể sử dụng Truy vấn SQL để lưu trữ dữ liệu trong cụm S3, Redshift hoặc Elasticsearch. Về cơ bản, dữ liệu được phân tích bên trong kinesis bằng ngôn ngữ truy vấn kiểu SQL.

4. Sự độc lạ b / w Kinesis Streams và Kinesis Firehose

• Luồng Kinesis được quản lý thủ công trong khi Kinesis Firehose được quản lý hoàn toàn tự động.
• Luồng Kinesis gửi dữ liệu đến nhiều dịch vụ trong khi Kinesis Firehose chỉ gửi dữ liệu đến S3 hoặc Redshift.
• Luồng Kinesis bao gồm một cửa sổ lưu giữ tự động có thời gian mặc định là 24 giờ và có thể được kéo dài đến 7 ngày trong khi Kinesis Firehose không có cửa sổ lưu giữ tự động.
• Các luồng Kinesis gửi dữ liệu đến người tiêu dùng để phân tích và xử lý trong khi kinesis firehose không phải lo lắng về người tiêu dùng vì kinesis firehose tự phân tích dữ liệu bằng cách sử dụng hàm lambda.

Cài ứng dụng cafedev để dễ dàng cập nhật tin và học lập trình mọi lúc mọi nơi tại đây.

Tài liệu từ cafedev:

Nếu bạn thấy hay và có ích, bạn hoàn toàn có thể tham gia những kênh sau của cafedev để nhận được nhiều hơn nữa :

Chào thân ái và quyết thắng!

Đăng ký kênh youtube để ủng hộ Cafedev nha các bạn, Thanks you!