Facebook xác định ý nghĩa thống kê trong nghiên cứu Độ cải thiện sức khỏe thương hiệu bằng cách nào?

30/11/2019
Bài viết này mô tả ý nghĩa thống kê giữa nhóm thử nghiệm và nhóm kiểm soát trong đánh giá mức tăng. Nếu bạn đang tìm kiếm thông tin về cách xây dựng nghiên cứu có hiệu quả thống kê và có đủ dữ liệu, hãy xem: Yếu tố gì giúp một nghiên cứu tăng có hiệu quả thống kê?

Facebook cung cấp thử nghiệm độ cải thiện sức khỏe thương hiệu để giúp bạn đánh giá tác động của quảng cáo. Những nghiên cứu này so sánh nhóm người đã xem quảng cáo với nhóm người chưa xem quảng cáo để xác định xem ý nghĩa thống kê về sự phù hợp với thương hiệu giữa các nhóm này có khác nhau hay không. Sự khác biệt về ý nghĩa thống kê có nghĩa là kết quả chênh lệch đủ lớn để chỉ ra rằng nguyên nhân là do tác động thực sự của việc hiển thị quảng cáo chứ không phải do ngẫu nhiên. Nếu có sự chênh lệch về ý nghĩa thống kê, chúng tôi có thể sử dụng thông tin đó để xác định mức tăng độ nhận biết thương hiệu đã xảy ra do quảng cáo của bạn.

Mức độ ý nghĩa thống kê này rất quan trọng vì nó có thể mang lại cho bạn độ tin cậy tương ứng. Bạn có thể sử dụng yếu tố này để bổ sung thông tin cho quyết định tiếp thị dựa trên kết quả của nghiên cứu tăng. Độ tin cậy càng cao thì kết quả của bạn càng phụ thuộc nhiều vào tác động của quảng cáo mà không phải do ngẫu nhiên. Ví dụ: nếu bạn chỉ định độ tin cậy là 90% và chạy một nghiên cứu tăng 10 lần, nghiên cứu có ý nghĩa thống kê có thể hiển thị cùng một kết quả trong 9/10 lần chạy đó. (Lưu ý: Nghiên cứu Độ cải thiện sức khỏe thương hiệu có mức độ tin cậy cố định.)

Đối với nghiên cứu Độ cải thiện sức khỏe thương hiệu, chúng tôi sử dụng các biện pháp tiêu chuẩn ngành để đánh giá ý nghĩa thống kê. Chúng tôi thăm dò ý kiến của đối tượng đã xem quảng cáo của bạn trong nhóm thử nghiệm, cùng với đối tượng không xem quảng cáo trong nhóm kiểm soát, sau đó sử dụng mô hình thống kê (bằng mô hình hồi quy logistic) để phân tích số phản hồi và sự khác biệt giữa hai nhóm.

Nghiên cứu hiệu quả thương hiệu với một nhóm thử nghiệm

Nghiên cứu hiệu quả thương hiệu bắt đầu bằng cách sử dụng một khung ngẫu nhiên để chia đối tượng mục tiêu của quảng cáo thành nhóm thử nghiệm và nhóm kiểm soát. Nhóm thử nghiệm bao gồm những người có thể xem quảng cáo của bạn, và nhóm kiểm soát gồm những người không được xem quảng cáo. Nếu những người này không được đưa vào nhóm kiểm soát một cách ngẫu nhiên, họ có thể đã đủ điều kiện xem quảng cáo. Những người trong nhóm thử nghiệm thực sự nhìn thấy quảng cáo của bạn được gọi là “nhóm thực nghiệm”.

Khi có một nhóm thử nghiệm, chúng tôi thăm dò ý kiến của nhóm thực nghiệm và nhóm kiểm soát, đồng thời phân tích sự khác biệt về phản hồi giữa hai nhóm. Người dùng Facebook sử dụng logic sau để xác định xem có sự khác biệt về ý nghĩa thống kê giữa hai nhóm hay không:

  1. Để phân tích tất cả dữ liệu, Facebook sử dụng mô hình hồi quy logistic, một loại phân tích dành cho các nghiên cứu có hai loại kết quả. Đồng tham số - các biến có thể dùng để dự đoán kết quả thử nghiệm - là độ tuổi, giới tính, và liệu họ có được xem quảng cáo hay không (điều kiện xử lý). Điều kiện xử lý được đặt thành:
    • 1 cho người dùng trong nhóm thực nghiệm
    • 0 cho người dùng trong nhóm kiểm soát
  2. Facebook sẽ ước tính các hệ số cho từng đồng tham số. Biến thể hiện liệu một người có được xem quảng cáo của bạn hay không được chỉ định một hệ số. Hệ số này dùng để xác định tác động của quảng cáo. Có một giá trị xác suất đi kèm với sự chênh lệch quan sát được giữa người dùng thực nghiệm và không thực nghiệm. Giá trị này dùng để đánh giá xem kết quả có ý nghĩa thống kê hay không.

Nghiên cứu hiệu quả thương hiệu với nhiều nhóm thử nghiệm

Khi một nghiên cứu hiệu quả thương hiệu có nhiều nhóm thử nghiệm, logic trên không phù hợp vì chỉ xác định ý nghĩa thống kê giữa một nhóm thử nghiệm và một nhóm kiểm soát.

Khi nhà quảng cáo muốn chạy nghiên cứu hiệu quả thương hiệu với nhiều nhóm thử nghiệm, Facebook sử dụng logic sau để giúp xác định chiến lược chiến thắng:

  1. Facebook xếp thứ tự các nhóm thử nghiệm theo điểm số ước tính về chi phí trên mỗi độ cải thiện sức khỏe thương hiệu và đề cử nhóm có ý nghĩa thống kê với khoản tiền dương thấp nhất là nhóm chiến thắng.
  2. Chúng tôi tìm nhóm thể hiện tốt nhất tiếp theo ngoài nhóm đề cử chiến thắng bằng điểm số về độ cải thiện sức khỏe thương hiệu. Trong hầu hết mọi trường hợp, đây sẽ là nhóm tiếp theo có độ cải thiện sức khỏe thương hiệu dương thấp nhất. Lưu ý: Trong trường hợp hi hữu, nhóm này sẽ là nhóm có độ cải thiện sức khỏe thương hiệu âm ít nhất và trong tình huống này, chúng tôi sẽ không hiển thị kết quả cho nhóm thể hiện tốt nhất thứ hai.
  3. Facebook chạy mô phỏng để so sánh chi phí trên mỗi độ cải thiện sức khỏe thương hiệu cho hai nhóm này.
  4. Nếu độ tin cậy của nhóm đề cử là trên 60%, Facebook sẽ coi đó là nhóm chiến thắng. Nếu độ tin cậy không ở mức trên 60%, chúng tôi không thể công bố chắc chắn nhóm chiến thắng. (Chúng tôi sử dụng 60% vì đây là mức trao đổi giữa số nghiên cứu mà chúng tôi có thể công bố nhóm chiến thắng và độ chính xác mong muốn khi công bố nhóm chiến thắng.)

Để biết thêm thông tin về Độ cải thiện sức khỏe thương hiệu, vui lòng liên hệ với Đại diện khách hàng của Facebook.

Bảng thuật ngữ về Mức tăng

Nhóm kiểm soát: Nhóm những người không xem quảng cáo

Nhóm thử nghiệm: Nhóm những người đủ điều kiện xem quảng cáo

Nhóm thực nghiệm: Nhóm những người trong nhóm thử nghiệm thực sự xem quảng cáo.

Mô hình hồi quy logistic: Một mô hình phân tích được dùng khi kết quả hoặc câu trả lời ở dạng nhị phân (có hoặc không).

Đồng tham số: Một biến có thể ảnh hưởng hoặc dự đoán kết quả nghiên cứu.

Giá trị P: Giá trị 0 và 1 dùng để đánh giá khả năng chính xác của giả thuyết ban đầu.

* Nguồn: Facebook