Giải pháp Tự động crawl dữ liệu tỷ giá từ các website ngân hàng với Power Platform
Mục lục
Thông tin bài tập cuối khóa
- Học viên: Vũ Thị Hiền
- Lớp: BOPA
- Chủ đề project: Bot tự động crawl dữ liệu tỷ giá từ các website ngân hàng
Vấn đề
Việc truy cập vào website tỷ giá của các ngân hàng đối thủ, crawl (cào) dữ liệu và cập nhật bảng tỷ giá mới nhất là công việc mang tín thường xuyên và quan trọng trong hoạt động của các ngân hàng. Thông tin tỷ giá sau khi cập nhật sẽ được phục vụ cho các công tác đối soát, so sánh hoặc làm đầu vào cho các nghiệp vụ ngân hàng khác.
Nghiệp vụ này hiện tại đang được thực hiện theo các bước như sau:
Mặc dù yêu cầu khá đơn giản nhưng vì số lượng ngân hàng rất nhiều và các thông tin tỷ giá cần cập nhật cũng khá đa dạng nên có một số hạn chế và rủi ro như sau:
- Tiêu tốn rất nhiều thời gian
- Không thống kê kịp tiến độ công việc
- Dễ xảy ra các trường hợp sai sót do click nhầm, copy-paste sai vị trí
Giải pháp Tự động Crawl dữ liệu tỷ giá
Để giải quyết vấn đề trên, học viên đã sử dụng kết hợp Power Automate, Power Apps và SharePoint List nhằm thiết kế một bot(flow) tự động crawl dữ liệu tỷ giá hàng giờ. Với giải pháp này, các nhân sự ngân hàng đã giảm tải được một khối lượng công việc rất đáng kể. Nhân sự không cần phải hàng ngày đều thao tác lặp đi lặp lại các bước trên, thay vào đó, bot đã tự động crawl và update vào file lưu trữ chung theo lịch trình đã cài đặt.
Kiến trúc sử dụng
- Cơ sở dữ liệu (CSDL): SharePoint List.
- Power Automate Desktop (PADesktop): Cấu phần quan trọng nhất trong giải pháp này, cho phép người dùng thiết kế bot (flow) giả lập lại các thao tác thực hiện trên máy tính. VD: mở browser, truy cập website tỷ giá, crawl dữ liệu tỷ giá,… Outputs của bước này là các bảng tỷ giá.
- Power Automate Cloud (PACloud): Với giải pháp này, PACloud thực hiện 2 nhiệm vụ chính:
- Điều phối hoạt động của PADesktop: Vì bản thân PADesktop không có cơ thế Trigger tự động (theo event, theo lịch trình) như PACloud. Do vậy, PACloud sẽ đóng vai trò là Trigger theo lịch trình (hàng giờ), kết nối và gọi bot từ PADesktop.
- Xử lý outputs trả về từ PADesktop: Sau khi PADesktop hoàn thành crawl dữ liệu và trả ra outputs là các bảng tỷ giá. Outputs này sẽ được gửi lại về PACloud để thực hiện các bước xử lý tiếp theo và ghi lại vào CSDL SharePoint List.
- Power Apps: Giao diện cập nhật và tra cứu tỷ giá, giúp người dùng có thể so sánh trực tiếp tỷ giá giữa các ngân hàng hoặc tra cứu dữ liệu tại một thời điểm trong quá khứ.
Một số hình ảnh minh họa
Hình ảnh trích từ bài tập cuối khóa của học viên Vũ Thị Hiền của khóa học BOPA – Optimize Business Process using Power Automate & Power Automate của Datapot.
Hình 1. Power Automate Desktop crawl dữ liệu tỷ giá từ website của các ngân hàng
Hình 2. Power Automate Desktop truy cập website và crawl dữ liệu từ một ngân hàng cụ thể
Hình 3. Power Automate Cloud kích hoạt theo lịch cố định (hàng giờ) và kết nối tới Power Automate Desktop
Hình 4. Power Automate Cloud xử lý bảng dữ liệu tỷ giá trả về từ Power Automate Desktop
Hình 5. Power Apps giao diện hiển thị dữ liệu tỷ giá, cho phép người dùng tra cứu và so sánh
Kết quả đạt được sau khóa học
Về kiến thức
Khóa học cung cấp đầy đủ những kiến thức từ cơ bản đến nâng cao bao gồm:
- Các khái niệm cơ bản liên quan đến Power Automate, Power Apps và các ứng dụng trong hoạt động kinh doanh.
- Kỹ năng tự động hóa các quy trình nghiệp vụ và các kỹ thuật để tối ưu hóa quy trình với các điều kiện và nguồn dữ liệu khác nhau
- Tích hợp các ứng dụng để xây dựng app low-code phục vụ các hoạt động kinh doanh và công việc hàng ngày
Về sản phẩm kết thúc khóa học
Song song với kiến thức trên, học viên còn có cơ hội áp dụng để giải quyết vấn đề riêng, cụ thể là bài toán Crawl dữ liệu với sản phẩm là một phần mềm với các chức năng sau:
- Tự động crawl dữ liệu theo lịch trình được cài đặt (tính theo giờ)
- Giao diện apps hiển thị thông tin tỷ giá cho phép người dùng tra cứu theo thời gian, theo đơn vị tiền tệ và so sánh các tỷ giá
Về tư duy thiết kế quy trình
Bên cạnh kiến thức về kiến trúc, kỹ thuật xử lý, người học còn được rèn luyện tư duy thiết kế quy trình, thiết kế app khi thực hiện các case study. Tư duy này sẽ giúp ích rất nhiều trong công việc để học viên có cái nhìn vừa chi tiết, vừa tổng quan về bất cứ một vấn đề nào.
Tạm kết
Với các bạn mới bắt đầu tìm hiểu Power Automate, Power Apps & mong muốn ứng dụng các công cụ này trong công việc, hãy tham khảo khóa học BOPA – OPTIMIZE BUSINESS PROCESS USING POWER AUTOMATE & POWER APPS của Datapot.
Khóa học của Datapot được thiết kế và giảng dạy bởi các chuyên gia giàu kinh nghiệm làm việc và đào tạo trong ngành dữ liệu, được triển khai tại các doanh nghiệp như Hòa Phát, Techcombank, Unilever, SHB, MB Life Ageas,.., khóa học sẽ mang đến cho bạn những kiến thức và kỹ năng thực tiễn nhất.
- Tham khảo thêm Final Projects của các học viên Datapot tại đây
- Chuỗi Video BỚT VIỆC cùng Power Automate
- Update các tài liệu chuyên môn về Power Automate tại đây.
