اختبار أ-ب

التجزئة والاستهداف

وفي السياق ذاته، مثلًا، في المثال أعلاه، يمكن أن يكون تفصيل معدلات الاستجابة حسب النوع كما يلي:

• انظر كذلك
• التحكم التكيفي
• اختيار النمذجة
• ماكينات الألعاب المتعددة
• اختبار متعدد المتغيرات
• تجربة معشاة ذات شواهد
• الرقابة العلمية
• اختبار الإحصائية

وفي السياق ذاته، في هذه الحالة، يمكننا أن نرى أنه بينما كان للمتغير أ معدل استجابة أعلى بشكل عام، كان للمتغير ب معدل استجابة أعلى مع الرجال.

وفي هذا الصدد، تطبق اختبارات A/B بشكل شائع نفس المتغير (مثلًا، عنصر واجهة المستعمل) باحتمالية متساوية لجميع المستعملين. ومع ذلك، في بعض الظروف، قد تكون الاستجابات للمتغيرات غير متجانسة. وهذا يعني أنه في حين أن المتغير «أ» قد يكون له معدل استجابة أعلى بشكل عام، فإن المتغير «ب» قد يكون له معدل استجابة أعلى ضمن شريحة معينة من قاعدة العملاء.

من جانب آخر، يمكن تعميم نهج التقسيم والاستهداف هذا ليشمل سمات متعددة للعملاء بدلاً من سمة عميل واحدة - مثلًا، سن العملاء- لتحديد أنماط أكثر دقة التي قد تكون موجودة في نتائج الاختبار.

من جهة ثانية، نتيجة لذلك، قد تختار الشركة إستراتيجية مجزأة نتيجة لاختبار A/B، وإرسال البديل B إلى الرجال والمتغير A إلى النساء في المستقبل. في هذا المثال، ستؤدي الإستراتيجية المجزأة إلى زيادة معدلات الاستجابة المتوقعة من إلى - تشكل زيادة بنسبة 30٪.

من جانب آخر، إذا كان من المتوقع الحصول على نتائج مجزأة من اختبار A/B، فيجب تصميم الاختبار بشكل صحيح في البداية ليتم توزيعه بالتساوي عبر سمات العميل الرئيسية، مثل النوع. وهذا يعني أن الاختبار يجب أن يحتوي على عينة تمثيلية من الرجال مقابل النساء، وأيضا تعيين الرجال والنساء بشكل عشوائي لكل «متغير» (البديل أ مقابل البديل ب). قد يؤدي عدم القيام بذلك إلى تحيز التجربة واستخلاص استنتاجات غير دقيقة من الاختبار.

التاريخ

ومن جهة أخرى، مثل أغلب الموضوعات، يعد تحديد تاريخ لظهور طريقة جديدة أمرًا صعبًا. حدثت أول تجربة عشوائية مزدوجة التعمية لتقييم فعالية دواء في سنة 1835. بدأت تجربة الحملات الإعلانية، التي تمت مقارنتها باختبار A/B الحديث، في أوائل القرن العشرين. استعمل رائد الإعلان كلود هوبكنز القسائم الترويجية لاختبار فعالية حملاته. ومع ذلك، فإن هذه العملية، التي وصفها هوبكنز في إعلانه العلمي، لم تتضمن مفاهيم مثل الدلالة الإحصائية وفرضية العدم، والتي يتم استخدامها في اختبار الفرضيات الإحصائية. تم تطوير الأساليب الإحصائية الحديثة لتقييم أهمية بيانات العينة بشكل منفصل في نفس الفترة. أنجز ويليام سيلي جوسيت هذا العمل في سنة 1908 عندما قام بتغيير Z-test لإنشاء اختبار t للطالب.

ومن ناحية أخرى، تستعمل الكثير من الشركات الآن نهج «التجربة المصممة» لاتخاذ قرارات التسويق، مع توقع أن تكون نتائج العينات ذات الصلة يمكن أن تحسن نتائج التحويل الإيجابية.  إنها ممارسة شائعة بشكل متزايد حيث تنمو الأدوات والخبرات في هذا المجال.

وفي هذا السياق، في عام 2012، قام موظف من شركة Microsoft يعمل على محرك البحث Microsoft Bing بإنشاء تجربة لاختبار طرق مختلفة لعرض عناوين الإعلانات. في غضون ساعات، أنتج التنسيق البديل زيادة في الإيرادات بنسبة 12٪ دون أي تأثير على مقاييس تجربة المستعمل. اليوم، تجري كل من الشركات مثل Microsoft و Google أكثر من 10000 اختبار A/B سنويًا.

أمثلة

وفي هذا السياق، مع نمو الإنترنت، أصبح هناك طرق جديدة متاحة لأخذ عينات من الناس. أجرى مهندسو Google أول اختبار أ / ب في عام 2000 في محاولة لتحديد العدد الأمثل للنتائج التي سيتم عرضها على صفحة نتائج محرك البحث الخاصة بها. لم ينجح الاختبار الأول بسبب مواطن الخلل التي نتجت عن أوقات التحميل البطيئة. لاحقًا، ستكون أبحاث اختبار A/B أكثر تقدمًا، لكن الأساس والمبادئ الأساسية تظل كما هي، وفي سنة 2011، بعد 11 عامًا من اختبار Google الأول، أجرت Google أكثر من 7000 اختبار A/B مختلف.

اختبار A/B لتسعير المنتج

ومن ناحية أخرى، يمكن استخدام اختبار A/B لتحديد السعر المناسب للمنتج، قد تكون هذه إحدى أصعب المهام عند إطلاق منتج أو خدمة جديدة.

علاوةً على ذلك، يعد اختبار A/B (صالحًا بشكل خاص للسلع الرقمية) طريقة ممتازة لمعرفة نقطة السعر وتقديم أقصى قدر من إجمالي الإيرادات.

إحصائيات الاختبار الشائعة

علاوةً على ذلك، «الاختبارات الفرضية المكونة من عينتين» مناسبة لمقارنة العينتين حيث يتم تقسيم العينات على حالتي التحكم في التجربة. تعد اختبارات Z مناسبة لمقارنة الوسائل في ظل ظروف صارمة فيما يتعلق بالطبيعية والانحراف المعياري المعروف. تعد اختبارات t للطالب مناسبة لمقارنة الوسائل في ظل ظروف مريحة عند افتراض أقل. يُعد اختبار Welch t هو الأقل، وبالتالي فهو الاختبار الأكثر استخدامًا في اختبار فرضية من عينتين حيث يتم تحسين متوسط المقياس. في حين أن متوسط المتغير المطلوب تحسينه هو الاختيار الأكثر شيوعًا للمقدر، يتم استخدام البعض الآخر بانتظام.

وفي السياق ذاته، للمقارنة بين توزيعين ذي حدين مثل نسبة النقر إلى الظهور، قد يستعمل المرء اختبار فيشر الدقيق.

اختبار A/B السياسي

علاوةً على ذلك، لا تُستعمل اختبارات A/B للشركات فقط، ولكنها كذلك تقود الحملات السياسية. في عام 2007، استعملت حملة باراك أوباما الرئاسية اختبار A/B كوسيلة لجذب الانتباه عبر الإنترنت وفهم ما يريد الناخبون رؤيته من المرشح الرئاسي. مثلًا، اختبر فريق أوباما أربعة أزرار مميزة على موقع الويب الخاص بهم دفعت المستعملين إلى الاشتراك في النشرات الإخبارية. فضلًا عن ذلك، استعمل الفريق ست صور مصاحبة مختلفة لجذب المستعملين. من خلال اختبار A/B، كان الموظفون قادرين على تحديد كيفية جذب الناخبين بشكل فعال وكسب اهتمام إضافي.

ملخص

وعلى صعيد آخر، الاختيار A قد يكون هو الإصدار المستعمل في الوقت الحالي (وبالتالي تشكيل المجموعة الضابطة)، بينما الاختيار B فيحتوي تعديل في بعض النواحي مختلفًا عن A. مثلًا، في أحد مواقع التجارة الإلكترونية، يعد مسار الشراء مرشحًا جيدًا لاختبار A/B، نظرًا لأنه حتى الانخفاضات الهامشية في معدلات الانسحاب يمكن أن تمثل مكسبًا كبيرًا في المبيعات. يمكن أحيانًا رؤية التحسينات المهمة من خلال اختبار العناصر مثل نسخ النص والتخطيطات والصور والألوان، ولكن ليس دائمًا. في هذه الاختبارات، يرى المستعملون واحدًا فقط من نسختين، لأن الهدف هو اكتشاف أيهما أفضل.

وفي هذا السياق، يشبه الاختبار متعدد المتغيرات أو الاختبار متعدد الحدود اختبار A/B، ولكنه قد يختبر أكثر من نسختين في نفس الوقت أو يستعمل المزيد من عناصر التحكم. اختبارات A/B البسيطة غير صالحة لحالات الملاحظة أو شبه التجريبية أو غيرها من المواقف غير التجريبية - وهي شائعة مع بيانات المسح والبيانات غير المتصلة بالإنترنت والظواهر الأخرى الأكثر تعقيدًا.

من جهة ثانية، تُعد اختبارات A/B مفيدة لفهم تفاعل المستعمل ورضاه عن الميزات عبر الإنترنت مثل ميزة أو منتج جديد. تستعمل مواقع الوسائط الاجتماعية الكبيرة مثل LinkedIn وFacebook وInstagram اختبار A/B لجعل تجارب المستعمل أكثر نجاحًا وكوسيلة لتبسيط خدماتهم.

علاوةً على ذلك، اختبار A/B هو اختصار لتجربة بسيطة خاضعة للرقابة. حيث تتم مقارنة عينتين (A و B) لمتغير متجه واحد. هذه القيم متشابهة باستثناء شكل واحد قد يؤثر على سلوك المستعمل. تعتبر اختبارات A/B على نطاق واسع أبسط أشكال التجارب الخاضعة للرقابة. ومع ذلك، بإضافة المزيد من المتغيرات للاختبار، يزداد تعقيدها.

ومن ناحية أخرى، اليوم، تُستعمل اختبارات A/B كذلك لإجراء تجارب معقدة على مواضيع مثل تأثيرات الشبكة عندما يكون المستعملون غير متصلين، وكيف تؤثر الخدمات عبر الإنترنت على إجراءات المستعمل، وكيف يؤثر المستعملون على بعضهم البعض. تستعمل الكثير من المهن البيانات من اختبارات A/B. وهذا يشمل مهندسي البيانات والمسوقين والمصممين ومهندسي البرمجيات ورجال الأعمال. تعتمد الكثير من الوظائف على البيانات المأخوذة من اختبارات A/B، لأنها تتيح للشركات فهم النمو وزيادة الإيرادات وتحسين رضا العملاء.

في هذا الإطار، يزعم البعض أن اختبار A/B هو تغيير في الفلسفة واستراتيجية الأعمال في منافذ معينة، على الرغم من أن النهج مطابق للتصميم بين الموضوعات، والذي يستعمل بشكل شائع في مجموعة متنوعة من تقاليد البحث. إن اختبار A/B كفلسفة لتطوير الويب يجعل المجال يتماشى مع حركة أوسع نحو الممارسة القائمة على الأدلة. من فوائد اختبار A/B أنه يمكن إجراؤه بشكل مستمر على أي شيء على وجه التقريب، خاصة وأن أغلب برامج أتمتة التسويق تأتي عادةً مع القدرة على تشغيل اختبارات A/B على أساس مستمر.

التسويق عبر البريد الإلكتروني

ومن جهة أخرى، جميع العناصر الأخرى لنسخة وتخطيط رسائل البريد الإلكتروني متطابقة. تراقب الشركة فيما بعد الحملة التي حققت معدل نجاح أعلى من خلال تحليل استخدام الرموز الترويجية. حصل البريد الإلكتروني الذي يستعمل الرمز A1 على معدل استجابة 5٪ (استعمل 50 من 1000 شخص عبر البريد الإلكتروني الرمز لشراء منتج)، والبريد الإلكتروني الذي يستعمل الرمز B1 حصل على معدل استجابة 3٪ (استعمل 30 من المستلمين الرمز لـ شراء منتج). لذلك تحدد الشركة أنه في هذه الحالة، يكون النموذج A1 أكثر فاعلية وستستعمله في المبيعات المستقبلية. قد يتضمن النهج الأكثر دقة تطبيق اختبار إحصائي لتحديد ما إذا كانت الفروق في معدلات الاستجابة بين A1 و B1 ذات دلالة إحصائية (أي، من المحتمل جدًا أن تكون الاختلافات حقيقية وقابلة للتكرار وليست بسبب فرصة عشوائية).

من جانب آخر، مثلًا، على الرغم من أن المزيد من العملاء الذين يتلقون الرمز B1 قد وصلوا إلى موقع الويب، نظرًا لأن الرسالة لم تذكر تاريخ انتهاء العرض الترويجي، فقد لا يشعر الكثير منهم بالحاجة الملحة لإجراء عملية شراء فورية. وبالتالي، إذا كان الغرض من الاختبار هو مجرد معرفة البريد الإلكتروني الذي سيجلب المزيد من الزيارات إلى موقع الويب، فقد يكون البريد الإلكتروني الذي يحتوي على الرمز B1 أكثر نجاحًا. يجب أن يحتوي اختبار A/B على نتيجة محددة قابلة للقياس مثل عدد المبيعات التي تم إجراؤها أو تحويل معدل النقرات أو عدد الأشخاص الذين قاموا بالتسجيل.

وعلى صعيد آخر، قررت شركة لديها قاعدة بيانات عملاء تتكون من 2000 شخص إنشاء حملة بريد إلكتروني برمز خصم من أجل تحقيق مبيعات من خلال موقعها على الويب. يقوم بإنشاء نسختين من البريد الإلكتروني مع عبارة مختلفة للحث على اتخاذ إجراء (جزء النسخة الذي يشجع العملاء على فعل شيء ما - في حالة حملة البيع، قم بالشراء) وتحديد الرمز الترويجي.

في هذا الإطار، أرسلت إلى 1000 شخص رسالة بريد إلكتروني تتضمن عبارة تحث المستعمل على اتخاذ إجراء تفيد بأن «العرض ينتهي يوم السبت! استعمل الرمز A1»،

في هذا الإطار، وإلى 1000 شخص آخر، أرسلت رسالة بريد إلكتروني تتضمن عبارة تحث المستعمل على اتخاذ إجراء، «سينتهي العرض قريبًا! استعمل الرمز B1».

إضافةً إلى ذلك، في المثال أعلاه، الغرض من الاختبار هو تحديد الطريقة الأكثر فعالية لتشجيع العملاء على الشراء. ومع ذلك، إذا كان الهدف من الاختبار هو معرفة البريد الإلكتروني الذي سيؤدي إلى زيادة معدل النقر - أي عدد الأشخاص الذين ينقرون فعليًا على موقع الويب بعد تلقي البريد الإلكتروني - فقد تكون النتائج مختلفة.

توجيه HTTP واختبار ميزة API

وفي هذا السياق، اختبار A/B شائع جدًا عند نشر إصدار أحدث من API. لاختبار تجربة المستعمل في الوقت الفعلي، يتم تكوين وكيل HTTP Layer-7 Reverse بطريقة أن N ٪ من حركة مرور HTTP تنتقل إلى الإصدار الأحدث من مثيل الواجهة الخلفية، بينما تصل نسبة 100-N ٪ المتبقية من حركة مرور HTTP الإصدار الأقدم (المستقر) من خدمة تطبيق HTTP الخلفية. يتم ذلك عادةً للحد من تعرض العملاء لمثيل خلفي أحدث، بحيث إذا كان هناك خطأ في الإصدار الأحدث، فإن N ٪ فقط من إجمالي وكلاء المستعمل أو العملاء يتأثرون بينما يتم توجيه الآخرين إلى خلفية ثابتة، والتي هي آلية شائعة للتحكم في الدخول.