Nội dung chính
Điều kiện tiên quyết
Luồng khí 1.7 trở lên Python 2.7 Studio mở Talend (Tích hợp dữ liệu lớn hoặc dữ liệu)
Ca sử dụng
Luồng khí 1.7 trở lên Python 2.7 Studio mở Talend ( Tích hợp tài liệu lớn hoặc tài liệu )
Lập lịch và thực hiện các công việc Talend ETL với Airflow.
Bạn đang xem: Airflow là gì
Tóm tắc
Tác giả Talend việc làm Lịch trình công việc Talend Giám sát quy trình công việc trong Web UI
Mô tả công việc
Tác giả Talend việc làm Lịch trình việc làm Talend Giám sát tiến trình việc làm trong Web UIViệc làm Talend ETL được tạo bởi : Tham gia application_id từ applicant_loan_info và loan_info như thể hiện trong sơ đồ dưới đây: Tham gia application_id từ applicant_loan_info và loan_info như bộc lộ trong sơ đồ dưới đây :
Đang tải dữ liệu trùng khớp vào loan_application_analysis bảng. Áp dụng một bộ lọc trên LoanDecisionType lĩnh vực trong các loan_application_analysis bảng để cô lập các giá trị như Approved, bị từ chối, và bị thu hồi. Áp dụng một bộ lọc khác trên các giá trị được tách riêng ở trên để tách riêng LoanType thành Cá nhân, Tự động, Tín dụng và Nhà. Đang tải tài liệu trùng khớp vào loan_application_analysis bảng. Áp dụng một bộ lọc trên LoanDecisionType nghành trongcác loan_application_analysis bảng để cô lập những giá trị như Approved, bị khước từ, và bị tịch thu. Áp dụng một bộ lọc khác trên những giá trị được tách riêng ở trên để tách riêng LoanType thành Cá nhân, Tự động, Tín dụng và Nhà .Công việc Talend đã tạo được thiết kế xây dựng và chuyển dời đến vị trí sever. Một DAG có tên Loan_Application_Analysis. py được tạo với đường dẫn tương ứng của những tập lệnh để thực thi luồng theo nhu yếu.
Tạo thư mục DAG và khởi động lại máy chủ web luồng không khí
Sau khi thiết lập Airflow, hãy triển khai như sau : Tạo thư mục DAG ( / home / ubfox / airflow / dags ) trong đường dẫn Airflow. Di chuyển tất cả các .py tập tin vào thư mục DAG. Khởi động lại máy chủ web Airflow bằng mã dưới đây để xem DAG này trong danh sách UI: Loginto the AIRFLOW_HOME path– eg.(/home/ubuntu/airflow) To restart webserver —> airflow webserver To restart scheduler —> airflow scheduler Tạo thư mục DAG ( / home / ubfox / airflow / dags ) trong đường dẫn Airflow. Di chuyển tổng thể những. py tập tin vào thư mục DAG. Khởi động lại sever web Airflow bằng mã dưới đây để xem DAG này trong list UI : Loginto the AIRFLOW_HOME path — eg. ( / home / ubuntu / airflow ) To restart webserver — > airflow webserver To restart scheduler — > airflow schedulerSau khi khởi động lại sever web, tổng thể. py những tệp hoặc DAG trong thư mục sẽ được tham chiếu và tải vào list DAG UI web.
Lập kế hoạch công việc
Lưu ý : Công việc có thể được kích hoạt thủ công bằng cách nhấp vào nút Run bên dưới cột Liên kết như hình dưới đây:
Cả hai công việc được lên lịch tự động và được kích hoạt thủ công có thể được xem trong giao diện người dùng như sau:
Giám sát công việc
Xem biểu đồ
Các trạng thái của các công việc được thể hiện dưới dạng đồ họa như dưới đây:
Chế độ xem cây
Các trạng thái của những việc làm cùng với ngày triển khai của những việc làm được bộc lộ dưới dạng cây như dưới đây :
Xem Gannt
Các trạng thái của những việc làm cùng với ngày triển khai của những việc làm được bộc lộ theo định dạng Gannt như dưới đây :
Xem thời lượng tác vụ
Khi nhấp vào tab Thời lượng tác vụ, bạn có thể xem thời lượng tác vụ của toàn bộ quá trình hoặc DAG theo định dạng đồ họa như dưới đây:
Xem trường hợp nhiệm vụ
Bằng cách nhấp vào Duyệt > Trường hợp tác vụ, bạn có thể xem các trường hợp mà các tác vụ đang chạy, như được hiển thị bên dưới:
Xem công việc
Bằng cách nhấp vào Duyệt > Công việc, bạn có thể xem chi tiết như thời gian bắt đầu, thời gian kết thúc và người thực hiện công việc, như được hiển thị trong sơ đồ bên dưới:
Xem nhật ký
Bằng cách nhấp vào Duyệt > ViewLog, bạn có thể xem chi tiết của nhật ký, như được hiển thị trong sơ đồ bên dưới:
Hồ sơ dữ liệu
Airflow cung cấp giao diện truy vấn SQL đơn giản để truy vấn dữ liệu và giao diện người dùng biểu đồ để trực quan hóa các tác vụ.
Xem thêm: Sku Sản Phẩm Trên Shopee Là Gì ? Cách Đặt Mã Sku Trên Shopee Đơn Giản
Để cấu hình dữ liệu của bạn, nhấp vào Quản trị viên > Kết nối để chọn loại kết nối cơ sở dữ liệu, như được hiển thị trong sơ đồ bên dưới:
Biểu đồ
Các loại trực quan hóa khác nhau hoàn toàn có thể được tạo cho thời hạn tác vụ và trạng thái trách nhiệm bằng biểu đồ.
Để tạo các biểu đồ như thanh, đường, khu vực, v.v. cho một DAG cụ thể bằng truy vấn SQL, nhấp vào Cấu hình dữ liệu > Biểu đồ > DAG_id, như được hiển thị trong sơ đồ bên dưới:
thông báo có email
Thông báo qua email như email_on_failure, email_on_successvà email_on_retries có thể được đặt để biết trạng thái công việc.
Xem thêm: Nghĩa Của Từ Auditorium Là Gì ? Nghĩa Của Từ Auditorium Trong Tiếng Việt
Để bật thông tin, hãy thực thi như sau : Định cấu hình cài đặt trong airflow.cfg tệp trong airflow_home đường dẫn, như hiển thị bên dưới: Định thông số kỹ thuật setup trong airflow.cfg tệp trong airflow_home đường dẫn, như hiển thị bên dưới :
Đặt lại cài đặt email của bạn thành cài đặt Gmail > allow_less safe_apps > ON để nhận thông báo qua email từ Airflow. Đặt lại setup email của bạn thành cài đặtđể nhận thông tin qua email từ Airflow .Một email thất bại việc làm được hiển thị dưới đây :
Phần kết luận
Trong blog này, chúng tôi đã luận bàn về tác giả, lập lịch và giám sát tiến trình việc làm từ giao diện người dùng web, cũng như kích hoạt những việc làm Talend trực tiếp từ giao diện người dùng web theo nhu yếu bằng cách sử dụng bash toán tử. Bạn cũng hoàn toàn có thể chuyển tài liệu từ cơ sở tài liệu này sang cơ sở tài liệu khác bằng generic_transfer toán tử .
Source: http://139.180.218.5
Category: Thuật ngữ đời thường