Hướng dẫn dành cho người mới bắt đầu về SEO của Google, cụ thể là phần về cách xử lý quá trình thu thập thông tin trang, bao gồm hai khía cạnh sau.

I. Sử dụng tệp robots.txt hiệu quả hơn 

1. Sử dụng tệp robots.txt để hạn chế việc thu thập thông tin.

Tệp robots.txt chủ yếu được sử dụng để thông báo cho các công cụ tìm kiếm liệu họ có quyền thu thập thông tin từ các phần cụ thể trên trang web của bạn hay không.

Tệp này phải có tên chính xác là robots.txt và được đặt trong thư mục gốc của trang web.

Bạn có thể không muốn một số trang nhất định trên trang web của mình bị thu thập dữ liệu, ngay cả khi những trang này không mang lại nhiều giá trị cho người dùng trong kết quả tìm kiếm. Nếu bạn muốn ngăn công cụ tìm kiếm thu thập dữ liệu những trang này, Google Search Console có trình tạo robots.txt rất hữu ích có thể giúp bạn tạo tệp này. Lưu ý rằng nếu trang web của bạn sử dụng tên miền phụ và một số trang bạn không muốn thu thập dữ liệu lại thuộc một tên miền phụ cụ thể, bạn sẽ cần tạo một tệp robots.txt riêng cho tên miền phụ đó. Để biết thêm thông tin về robots.txt, bạn nên tham khảo hướng dẫn sử dụng tệp robots.txt trong Trung tâm trợ giúp Công cụ Quản trị Trang web.

Có nhiều cách khác để đảm bảo một số nội dung nhất định trên trang web của bạn không xuất hiện trong kết quả tìm kiếm. Ví dụ: bạn có thể thêm thẻ “NOINDEX” vào thẻ meta robots, mã hóa các thư mục cần bảo vệ bằng tệp .htaccess hoặc sử dụng công cụ quản trị trang web để xóa các trang đã thu thập dữ liệu khỏi kết quả tìm kiếm.

Cách sử dụng tốt nhất:

1. Sử dụng phương pháp an toàn hơn cho nội dung nhạy cảm.

Bạn có thể không cảm thấy hoàn toàn thoải mái khi chỉ sử dụng robots.txt để chặn nội dung nhạy cảm hoặc bí mật. Một lý do là nếu vẫn còn các liên kết trên web trỏ đến các URL đó (chẳng hạn như trong nhật ký của các trang được tham chiếu), các công cụ tìm kiếm vẫn có khả năng thu thập dữ liệu và truy cập các URL bạn muốn chặn. Tất nhiên, chúng sẽ chỉ hiển thị địa chỉ URL chứ không phải tiêu đề hoặc tóm tắt nội dung. Một số công cụ tìm kiếm vô đạo đức có thể không tuân thủ một cách có ý thức các tiêu chí loại trừ robot, do đó vi phạm các hướng dẫn robots.txt của bạn. Ngoài ra còn có những lý do khác, chẳng hạn như người dùng tò mò có thể xem các thư mục và thư mục con trong tệp robots.txt của bạn và đoán URL của nội dung mà bạn không muốn hiển thị ra bên ngoài. Sử dụng tệp .htaccess để bảo vệ bằng mật khẩu hoặc mã hóa nội dung là một cách tiếp cận an toàn hơn.

Vui lòng tránh:

Cho phép thu thập một số trang trên trang web của bạn tương tự như kết quả tìm kiếm (người dùng không thích bị chuyển ngay đến một trang kết quả tìm kiếm khác sau khi rời khỏi trang này vì điều này không có nhiều giá trị đối với họ); cho phép thu thập một số lượng lớn các trang được tạo tự động có nội dung giống hoặc rất giống nhau, khiến người dùng tự hỏi: “Liệu 100.000 trang gần như giống hệt nhau này có thực sự xuất hiện trong chỉ mục của công cụ tìm kiếm không?”; cho phép thu thập các URL được tạo bằng cách cung cấp dịch vụ proxy.

II. Sử dụng rel=”nofollow” một cách thận trọng 

1. Sử dụng nofollow để chống lại các bình luận spam

Nếu bạn đặt thuộc tính “rel” của liên kết thành “nofollow”, bạn đang gửi thông điệp đến Google rằng bạn không muốn Google tiếp tục thu thập dữ liệu các trang được liên kết bởi các liên kết cụ thể này và bạn không muốn chuyển uy tín của trang của mình cho các trang được liên kết đó. Việc này khá đơn giản; bạn chỉ cần đặt rel=”nofollow” vào thẻ neo của liên kết.

Tôi nên sử dụng nofollow trong những trường hợp nào? Nếu blog trên trang web của bạn có phần bình luận, các liên kết trong phần bình luận đó có thể truyền danh tiếng của bạn đến những trang web mà bạn không biết và không có ý định giới thiệu. Phần bình luận trên blog thường bị tràn ngập thư rác.

Việc theo dõi các liên kết do người dùng tạo ra sẽ đảm bảo bạn không truyền danh tiếng khó khăn mình gây dựng được cho các trang web spam khác.

2. Tự động đặt bảng tin thành “nofollow”.

Nhiều gói phần mềm viết blog tự động sử dụng nofollow cho bình luận của người dùng; ngay cả khi chúng không cung cấp tính năng tự động này, bạn vẫn có thể dễ dàng điều chỉnh thủ công. Điều này cũng áp dụng cho các nội dung khác do người dùng tạo trên trang web của bạn, chẳng hạn như sổ lưu bút, diễn đàn và trích dẫn. Nếu bạn chấp thuận các liên kết do bên thứ ba thêm vào (ví dụ: các liên kết mà trang web của bạn tin cậy), thì bạn không cần sử dụng nofollow cho các liên kết đó. Tuy nhiên, điều quan trọng là phải hiểu rằng việc liên kết đến các trang web bị Google coi là spam sẽ ảnh hưởng tiêu cực đến uy tín của chính trang web của bạn. Công cụ Quản trị Trang web cung cấp thêm các mẹo để ngăn chặn spam, chẳng hạn như sử dụng CAPTCHA và bật tính năng theo dõi bình luận. 

3. Về việc sử dụng nofollow cho nội dung cụ thể hoặc tất cả các liên kết trên một trang

Một ứng dụng khác của nofollow là khi bạn đang viết bài và trích dẫn một trang web, nhưng bạn không muốn truyền tải danh tiếng của mình cho trang web đó. Ví dụ: bạn đang viết một bài đăng trên blog về thư rác và muốn vạch trần một trang web thường xuyên để lại bình luận ác ý trên blog của bạn. Để cảnh báo các trang web khác, bạn chèn liên kết đến trang web đó vào bài viết; tuy nhiên, rõ ràng là bạn không muốn truyền tải danh tiếng của trang web mình cho trang web độc hại này. Trong trường hợp này, sử dụng nofollow là hoàn hảo.