Trang chủ / Blog

A/B testing là gì? Cách thử nghiệm khi website ít traffic

Ba ý chính

  • A/B test cần phân nhóm hợp lý và dữ liệu đủ để trả lời một giả thuyết.
  • Traffic ít nên ưu tiên vấn đề lớn, ít biến thể và chỉ số phù hợp.
  • Không đủ bằng chứng không đồng nghĩa hai phiên bản hiệu quả như nhau.
Mục lục bài viết
Minh họa 3D so sánh hai phiên bản website trong thử nghiệm A/B.

A/B testing là phương pháp so sánh hai phiên bản trong cùng một thử nghiệm để đánh giá tác động của một thay đổi. Trong thiết kế A/B thông thường, các đơn vị đủ điều kiện được phân ngẫu nhiên vào nhóm xem bản hiện tại hoặc bản mới và giữ cách phân nhóm nhất quán. Đơn vị đó có thể là người dùng hoặc tài khoản, tùy giả thuyết và điều kiện thực tế. Kết quả được đọc bằng các chỉ số đã xác định trước.

Website ít traffic vẫn có thể cải thiện trải nghiệm, nhưng không phải ý tưởng nào cũng phù hợp để A/B test. Nếu mỗi tuần chỉ có vài chuyển đổi, thay màu một nút có thể không tạo đủ tín hiệu để kết luận trong thời gian hữu ích. Điều quan trọng là chọn đúng câu hỏi và biết khi nào cần một phương pháp khác.

1. Phân biệt thử nghiệm với sửa lỗi

Form không gửi được, menu không đóng hoặc nút dẫn sai trang là lỗi cần khắc phục. Không cần giữ một nhóm người dùng gặp lỗi chỉ để chứng minh bản sửa tốt hơn. Hãy sửa, kiểm thử hồi quy và theo dõi chất lượng vận hành.

A/B test phù hợp hơn khi có hai phương án hợp lý và chưa biết phương án nào hỗ trợ mục tiêu tốt hơn. Ví dụ, trình bày quy trình ngay gần form có giúp khách hiểu dịch vụ trước khi gửi yêu cầu? Đây là giả thuyết có thể kiểm chứng, khác với việc đổi giao diện vì một người trong đội thích hơn.

Tình huốngPhương pháp phù hợp để bắt đầuCó thể kết luận gì?
Form lỗi hoặc nút dẫn saiSửa lỗi và kiểm thử hồi quyLuồng đã hoạt động theo yêu cầu kiểm, chưa có mức tăng chuyển đổi
Chưa rõ người đọc vướng ở đâuQuan sát tác vụ, phỏng vấn phù hợp và rà dữ liệuXác định vấn đề/giả thuyết, chưa đo được tác động nhân quả
Hai phương án hợp lý và có khả năng đủ mẫuThiết kế A/B với phân nhóm và quy tắc trướcƯớc lượng tác động trong phạm vi thử nghiệm và giới hạn thống kê

2. Viết giả thuyết trước khi thiết kế biến thể

Một mẫu dễ dùng là: “Vì quan sát thấy vấn đề X ở nhóm Y, thay đổi Z được kỳ vọng cải thiện chỉ số M mà không làm xấu chỉ số bảo vệ N”.

Microsoft Research nhấn mạnh việc xác định giả thuyết, chỉ số thành công và lượng người dùng cần thiết trước thử nghiệm. Cách chuẩn bị này giúp tránh đổi mục tiêu sau khi đã nhìn thấy số liệu.

Ví dụ giả thuyết minh họa: người đọc chưa rõ dịch vụ có phù hợp nên hỏi lại nhiều lần trước khi gửi form. Bản mới đặt phạm vi và điều kiện phục vụ ngay trước form. Chỉ số chính là tỷ lệ yêu cầu đủ điều kiện trên số người đủ điều kiện đã xem biến thể; chỉ số bảo vệ gồm lỗi form và lượng yêu cầu sai nhu cầu. Chỉ chạy sau khi đã chốt cách phân nhóm, tiêu chí đủ điều kiện và thời gian để đánh giá lead. Đây là kế hoạch kiểm chứng, chưa phải kết quả.

3. Đánh giá liệu traffic có đủ trả lời câu hỏi

Không có một con số lượt truy cập tối thiểu phù hợp cho mọi website. Nhu cầu mẫu phụ thuộc tỷ lệ chuyển đổi nền, mức thay đổi tối thiểu đáng quan tâm, độ biến động, thiết kế và mức sai số chấp nhận.

Trước khi chạy, hãy ước tính mẫu và thời gian bằng phương pháp phù hợp với chỉ số. Nếu dự kiến cần nhiều tháng nhưng nội dung, giá hoặc mùa vụ sẽ thay đổi trong khoảng đó, thử nghiệm có thể khó diễn giải. Đừng tự hạ tiêu chuẩn bằng cách chọn một ngày đẹp để kết luận.

“Mức thay đổi tối thiểu đáng quan tâm” là mức cải thiện đủ để doanh nghiệp cân nhắc chi phí và rủi ro triển khai. Chọn nó trước khi đọc kết quả, rồi dùng cùng giả định tỷ lệ nền để ước tính mẫu; không chọn một mức tùy ý chỉ để rút ngắn thời gian chạy.

4. Chọn chỉ số chính và chỉ số bảo vệ

Chọn một chỉ số chính gắn với mục tiêu. Nếu mục tiêu là lead phù hợp, số click vào nút có thể là chỉ số chẩn đoán chứ chưa đủ để quyết định. Tăng click nhưng tăng yêu cầu sai nhu cầu không nhất thiết là cải thiện.

Chỉ số bảo vệ có thể gồm lỗi form, thời gian tải, tỷ lệ yêu cầu không hợp lệ hoặc khối lượng công việc phát sinh cho đội bán hàng. Định nghĩa thời gian theo dõi đủ dài để ghi nhận chất lượng lead và dùng cùng quy tắc cho hai nhóm.

Bàn tay phác thảo luồng màn hình trong sổ, minh họa việc chuẩn bị biến thể thử nghiệm.
Ảnh minh họa: Kelly Sikkema / Unsplash. Không phải đội ngũ, dữ liệu hoặc kết quả của Warriors. Giấy phép.

5. Giữ cách phân nhóm nhất quán

Quy định đơn vị phân nhóm là người dùng, tài khoản hay một đơn vị phù hợp khác. Cùng một người không nên liên tục bị đổi phiên bản ngoài thiết kế. Khi dùng cookie hoặc dữ liệu người dùng, cần tuân thủ cơ chế đồng ý và chính sách áp dụng của website.

Chạy hai nhóm cùng giai đoạn giúp giảm việc nhầm tác động của mùa vụ với tác động thiết kế. So sánh tuần trước với tuần sau có thể hữu ích để theo dõi, nhưng không tự động trở thành A/B test: nguồn traffic, ưu đãi hoặc ngày trong tuần cũng có thể đã khác.

Trước khi bắt đầu, kiểm log phân nhóm và sự kiện đo lường. Sự kiện gửi trùng, mất dữ liệu hoặc phân bổ nhóm khác kế hoạch có thể làm kết quả sai dù báo cáo trông rất đẹp.

6. Đọc kết quả theo quy tắc đã chọn

Ghi trước thời điểm kết thúc hoặc quy tắc dừng phù hợp với phương pháp thống kê. Không liên tục xem kết quả rồi dừng ngay khi bản mới có vẻ thắng nếu thiết kế không xử lý việc kiểm tra nhiều lần.

Nếu chưa đủ bằng chứng, kết luận là chưa đủ bằng chứng. Không nên viết “hai bản như nhau” hoặc chọn bản thắng chỉ vì tỷ lệ cao hơn một chút. Đồng thời kiểm xem lợi ích tiềm năng có đáng chi phí triển khai, bảo trì và rủi ro hay không.

7. Khi ít traffic, vẫn có những việc đáng làm

Bạn có thể quan sát người dùng thực hiện tác vụ, hỏi khách về điểm khó hiểu, rà câu hỏi đội bán hàng thường nhận và kiểm lỗi trên các thiết bị phổ biến. Những phương pháp này giúp tìm nguyên nhân và tạo giả thuyết, nhưng không đo được mức tăng chuyển đổi như một thử nghiệm nhân quả được thiết kế tốt.

Checklist trước khi chạy

  • Giả thuyết và nhóm người dùng có rõ?
  • Có một chỉ số chính, chỉ số bảo vệ và thời gian trưởng thành của kết quả?
  • Đã ước tính mẫu, thời gian và mức thay đổi đáng quan tâm?
  • Phân nhóm, exposure và sự kiện đã kiểm không trùng?
  • Quy tắc kết thúc và cách đọc kết quả được viết trước?
  • Có người theo dõi lỗi và phương án rollback?

Câu hỏi thường gặp

Không test thì có được cải tiến website không?

Có. Sửa lỗi đã xác minh và cải thiện khả năng sử dụng vẫn cần thiết. Điều cần tránh là công bố mức tăng hiệu quả không có bằng chứng.

Nếu bạn chưa biết nên thử gì trước, hãy bắt đầu với checklist tối ưu landing page và chọn một trở ngại thực sự. Warriors có thể hỗ trợ biến quan sát đó thành kế hoạch kiểm chứng phù hợp với nguồn lực hiện có.

Trao đổi bài toán