Crawl Website Đơn Giản Với Postman
20/12/2022
2.77k
Table of Contents
Mở đầu
Trong kiểm thử API, chúng ta không xa lạ gì với Postman, một tool kiểm thử API rất phổ biến và được sử dụng trong nhiều trường hợp khác nhau. Nếu như bạn chưa rõ API là gì, có thể tham khảo lại bài viết giới thiệu về API cơ bản của mình tại ĐÂY.
Trong bài viết này, mình sẽ hướng dẫn các bạn cách crawl đơn giản một website bằng Postman nhằm kiểm tra xem các link hay hình ảnh có trong website đó có bị die hay lỗi gì không?
Crawl Website là việc lấy thông tin từ website , trích xuất ra những thông tin người sử dụng cần, đồng thời cũng tìm những link có trong trang web đó và tự động truy cập vào những link đó. Quá trình đó sẽ lặp đi lặp lại đến khi thu thập đủ thông tin người dùng cần.
Ví dụ dự án của bạn có một website như Landing Page hoặc trang chủ chẳng hạn, và trong trang lại có các hình ảnh, các hyperlink dẫn tới các trang con hoặc các website khác. Sau một thời gian bạn cần kiểm tra lại xem những hyperlink đó có còn hoạt động hay không. Thay vì phải click thủ công từng link một thì Postman có thể giúp bạn đơn giản hoá và tiết kiệm thời gian hơn cho việc này rất nhiều. Trước khi đi sâu vào bài viết, bạn cần có một số kiến thức về các khái niệm dưới đây:
- Script trong Postman
- Runner trong Postman
- Có một ít kiến thức cơ bản về Javascript
Khâu chuẩn bị
Để bắt đầu, máy tính của bạn cần cài đặt Postman, tất nhiên rồi. Sau đó chúng ta sẽ tạo một Collection chứa hai Request với tên bất kỳ và hai biến collection. Trong ví dụ dưới đây, mình sẽ tạo Collection tên Crawl Website cùng 2 request:
- Input check: Request này dùng để kiểm tra đầu vào trước khi crawl.
- URL check: Request chính dùng để crawl website.
- 2 biến collection gồm có:
- rootUrl: URL gốc của trang cần check
- startUrl: URL bắt đầu khi chạy test, ở đây mình sẽ để rootUrl và startUrl chung 1 URL
Input check
Giờ chúng ta cùng thiết lập cho request đầu tiên. Ở request này, mình sẽ code tại phần Pre-request nhằm kiểm tra các đầu vào trong quá trình crawl website. Dưới đây là danh sách các function mình cần tạo trong request này
- Kiểm tra danh sách biến có trong collection
- Kiểm tra giá trị URL gán vào biến có định dạng hợp lệ
- Tạo biến Global để sử dụng cho request tiếp theo
Như mình đã nói ở phần mở đầu, các bạn cần có kiến thức cơ bản về javascript để có thể hiểu hơn và tuỳ biến lại code phù hợp với nhu cầu của dự án. Mình sẽ có gắng giải thích đơn giản để những bạn ít biết về code vẫn có thể sử dụng được.
Ở request này, URL của request chúng ta sẽ để biến {{startUrl}} với phương thức là GET.
Kiểm tra danh sách biến có trong collection
Trước khi kiểm tra được danh sách các biến có trong collection, ta sẽ chuyển các biến đó thành object và gán vào biến postmanVariables
<strong>const</strong> postmanVariables = pm.collectionVariables.toObject();
Sau đó ta kiểm tra các biến cần sử dụng đã có trong collection hay chưa
pm.expect(postmanVariables).to.have.all.keys("startUrl", "rootUrl");
Kiểm tra giá trị URL gán vào biến có định dạng hợp lệ
Để kiểm tra giá trị URL gán vào biến có định dạng hợp lệ, ta sẽ sử dụng Regex. Đầu tiên ta sẽ gán định dạng URL viết dưới dạng regex vào biến urlRegex và so sánh các giá trị URL trong 2 biến collection là startURL và rootURL có giống với urlRegex hay không.
const urlRegex = /^https?:\/\//; pm.expect(postmanVariables.startUrl, 'startUrl does not match URL pattern').to.match(urlRegex); pm.expect(postmanVariables.rootUrl, 'rootUrl does not match URL pattern').to.match(urlRegex);
Tạo biến Global để sử dụng cho request tiếp theo
Kết thúc script mình sẽ tạo biến 3 biến là link, url, index cho request tiếp theo. Ở đây mình sử dụng biến Global để cho dễ truy cập và lấy giá trị giữa các request, tuỳ thuộc vào tính chất dự án, bạn có thể sửa lại thành biến cho 1 environment cũng không có vấn đề gì nhé.
- links: Mảng các link ta lấy được khi crawl một trang
pm.globals.set("links", "[]");
- url: URL đang test
pm.globals.set("url", postmanVariables.startUrl);
- index: Số thứ tự của URL cần test trong mảng links ta crawl được
pm.globals.set("index", -1);
URL check
Sau khi thiết lập xong request Pre-check, ta chuyển sang request URL check, đây sẽ là request chạy chính của mình.
Ở request này, URL của request chúng ta sẽ để biến {{url}} với phương thức là GET.
Dưới đây là danh sách các function sẽ sử dụng trong request này:
- Kiểm tra link lỗi
- Lấy các hyperlink có trong website
- Lọc các link không liên và lặp crawl
- Kết thúc vòng lặp
Trước khi bắt đầu thì ta sẽ gán giá trị URL của 2 biến collection và 3 biến Global thành các biến Local cho dễ sử dụng
const startUrl = pm.collectionVariables.get("startUrl");
const rootUrl = pm.collectionVariables.get("rootUrl");
const links = JSON.parse(pm.globals.get("links"));
const currentUrl = pm.globals.get("url");
const currentIndex = parseInt(pm.globals.get("index"));
Kiểm tra link lỗi
Giờ ta sẽ tạo 1 hàm để kiểm tra xem link mình lấy về có bị lỗi hay không. Hiện tại thì link chúng ta test ban đầu chính là URL bạn gán vào biến startUrl.
pm.test(`Link to "${currentUrl}" works`, function () {
try {
pm.response.to.not.be.error;
}
catch (error) {
console.log(`FAILED :: ${currentUrl}`);
console.log(`FAILED :: status code is ${pm.response.code}`);
throw error;
}
});
Trong đó hàm try để kiểm tra xem link đó có trả về response lỗi hay không và hàm catch dùng để log lại thông tin lỗi. Tuỳ vào nhu cầu bạn có thể log thêm những thông tin khác bạn muốn kiểm tra nhé.
Lấy các hyperlink có trong webiste
Sau khi ta đã kiểm tra link ban đầu không bị lỗi, ta sẽ chạy hàm lấy các hyperlink có trong URL đó như sau:
if (currentUrl.includes(startUrl)) {
const $ = cheerio.load(pm.response.text());
$("a").each(function () {
const newLink = $(this).attr("href");
if (!links.includes(newLink)) {
links.push(newLink);
}
});
$("img").each(function () {
const newLink = $(this).attr("src");
if (!links.includes(newLink)) {
links.push(newLink);
}
});
}
Để lấy dữ liệu từ trang web, ta sẽ crawl HTML của web đó và tìm kiếm thông tin ta cần từ các tag có trong HTML lấy về. Trong bài viết này mình sẽ thư viện Cheerio để lấy HTML của website cần test và gán nó vào biến $. Sau khi có được HTML rồi, ta sẽ tạo vòng lặp each để tìm các tag <a> và tag <img>, sau đó lấy các URL trong attribute “href” ở trong <a> và “src” ở trong <img>. Tiếp đến ta sẽ gán nó vào biến newLink. Ngoài ra tuỳ thuộc vào nhu cầu và tính chất của trang web, các bạn có thể bổ sung thêm các thẻ và attribute có chứa URL cần test như <link> chẳng hạn.
Vì ta chỉ cần check mỗi link 1 lần nên mình sẽ viết thêm 1 hàm if để kiểm tra xem URL lấy được đã được lấy trước đó hay chưa, nếu chưa thì sẽ bỏ link đó vào mảng links. Ở bước này bạn cũng có thể bổ sung thêm các điều kiện khác để check link lấy được tuỳ thuộc vào nhu cầu của bạn như không lấy link ads hay action link,…
Lọc các link không liên quan và lặp crawl
Chúng ta đã đi được hơn nữa quãng đường rồi. Sau khi lấy được các link có trong web và bỏ vào mảng links, giờ ta sẽ viết 1 function để trích xuất các link đó và chạy tiếp cũng như lọc những link không liên quan.
const [nextUrl, nextIndex] = getNextUrlAndIndex(links, currentIndex);
function getNextUrlAndIndex (links = [], index = 0) {
const nextIndex = index + 1;
if (links.length - 1 === nextIndex) {
return [];
}
const linkUrl = links[nextIndex];
if (!linkUrl) {
// Skip null links
console.log('Encountered a null link.');
// Try to get the next link
return getNextUrlAndIndex(links, nextIndex);
}
if (/^https?:\/\//.test(linkUrl)) {
// Return if not a relative link
return [linkUrl, nextIndex];
}
// If the link is relative, prepend with rootUrl
const cleanedRoot = rootUrl.replace(/\/$/, '');
const cleanedPath = linkUrl.replace(/^[\.\/]+/, '');
return [[cleanedRoot, cleanedPath].join('/'), nextIndex];
}
Function này ta sẽ sử dụng biến links chứa mảng link đã lấy và biến index nhằm trích xuất vị trí link ta muốn chạy tiếp.
Hàm if đầu tiên sẽ check nếu như ta chạy xong hết mảng link thì sẽ trả về mảng rỗng.
Hàm if thứ 2 sẽ kiểm tra loại trừ các loại link mà bạn không muốn test, ở đây mình sẽ loại trừ null link, ngoài ra bạn có thể bổ sung thêm các loại link khác như link download chẳng hạn.
Hàm if tiếp theo sẽ dùng regex để kiểm tra xem link đó có nằm trong các trang con của mình hay không. Mình sẽ check bằng logic nếu như đầu URL đó giống với biến rootUrl thì sẽ truy cập tiếp vào trang đó và lấy tiếp các URL có trong trang con và lặp lại đến khi nào không còn tìm thấy nữa thì thôi.
Kết thúc vòng lặp
Cuối cùng chúng ta sẽ chạy 1 hàm if để kết thúc vòng lặp crawl này
if (nextUrl) {
// Update global variables
pm.globals.set("links", JSON.stringify(links));
pm.globals.set("url", nextUrl);
pm.globals.set("index", nextIndex);
postman.setNextRequest("Check URL");
}
else {
console.log("No more links to check!");
// Clear global variables
pm.globals.clear("links");
pm.globals.clear("url");
pm.globals.clear("index");
// End the loop
postman.setNextRequest(null);
}
Trong hàm if này nếu như vẫn còn get được link từ website thì sẽ tiếp tục gán vào biến Local để chạy tiếp bằng hàm postman.setNextRequest(“Check URL”);. Nếu như hết link thì mình sẽ đặt lệnh clear biến global để cho gọn phần biến tránh ảnh hưởng cho những lần chạy sau và set Next Request về null để kết thúc vòng lặp.
Kết
Vậy là chúng ta đã hoàn thành một collection crawl website đơn giản bằng Postman. Hi vọng các bạn có thể áp dụng được vào trong dự án của mình và hẹn gặp các bạn ở những bài viết tiếp theo.
Reference
Related Blog
