Telegram channel "A/B testing" — @abtesting

A/B testing

1 Nov, 12:15

False Positive Risk in A/B Testing

There is a much greater probability than generally expected that a statistically significant test outcome is in fact a false positive. In industry jargon: that a variant has been identified as a “winner” when it is not.

https://georgi-georgiev.medium.com/false-positive-risk-in-a-b-testing-ba2c76e258c4

via @ABtesting

1.6k 1 19

A/B testing

26 Sep, 10:02

The good Lukas Vermeer’s A/B testing game simulator is here. It’s an interactive way to understand hypothesis testing better.

You control the backlog and running experiments for a small development team. Each day you make decisions that impact product development and overall sales.

Your objective is to maximise total sales.

via @ABtesting

3.2k 1 71

A/B testing

23 Sep, 10:02

It takes a Flywheel to Fly: Kickstarting and Keeping the A/B testing Momentum

Practitioners from hundreds of companies and several different industries reached out with thoughts, concerns and tips on how to kickstart and scale an A/B testing program from “Crawl” or “Walk” milestones, to the “Run” or “Fly” stages.

via @ABtesting

3k 1 18

A/B testing

13 Sep, 13:16

Four Ways to Improve Statistical Power in A/B Testing (without increasing test duration, duh)

Exploration simple and potent techniques for enhancing power without prolonging test durations. By grasping the significance of key parameters such as allocation, MDE, and chosen KPIs, data analysts can implement straightforward strategies to elevate the effectiveness of their testing endeavors. This, in turn, enables increased data collection and provides deeper insights into their product.

via @ABtesting

3.4k 0 57

A/B testing

12 Sep, 10:42

Forward from: Product Analytics

Beyond the limitation of A/B Testing using Causal Inference

In the realm of product management and development, understanding the impact of new campaign (aka treatment) releases on user behavior is crucial. Campaign assessing effect on key performance indicators, such as retention metrics (specifically, Day 1 retention or D1), becomes a pivotal task.

However, this task presents several challenges. While A/B testing is commonly employed to measure such impacts, it is not always a viable option due to ethical, practical, or financial constraints.

@ProductAnalytics

2.6k 0 19

A/B testing

9 Aug, 11:19

Forward from: BigQuery Insights

Ми в MacPaw шукаємо продуктового аналітика з досвідом у web-аналітиці та бажанням працювати над маркетинговими задачами.

MacPaw - продуктова ІТ компанія, розробляє macOS/iOS-додатки, продукти якої встановлені на кожному 5-му макбуці світу.

40+ аналітиків, багато різноманітних сервісних команд, які допомагають продуктовим аналітикам робити їх роботу краще. Можливість працювати віддалено.

Вакансія за посиланням:

👉 Product Analyst (Marketing).

4.2k 0 4

A/B testing

14 Jun, 10:15

Computing Minimum Sample Size for A/B Tests in Statsmodels: How and Why

A deep-dive into how and why Statsmodels uses numerical optimization instead of closed-form formulas.

@ABtesting

8.8k 1 65

A/B testing

12 Feb, 11:59

Forward from: Product Analytics

The downsides of experimentation

The article help you to delve into the less discussed, yet critical, aspects of experimentation.

@ProductAnalytics

8.2k 0 25

A/B testing

5 Feb, 13:00

When You Should Prefer “Thompson Sampling” Over A/B Tests

An in-depth explanation of “Thompson Sampling”, a more efficient alternative to A/B testing for online learning

@ABtesting

8.9k 0 49

A/B testing

29 Jan, 11:03

Delusive Extrapolation and A/B Testing

Cautionary Tales of Complexity and the Dangers of Jumping to Conclusions

@ABtesting

13.6k 1 39

A/B testing

6 Oct 2023, 11:52

The Five Types of A/B Test Decisions

https://www.harlan.harris.name/2023/07/the-five-types-of-a-b-test-decisions/

@ABtesting

11.2k 0 84

A/B testing

15 Sep 2023, 14:41

Google продовжує навчальну програму "Розвивайте кар’єру з Google Cloud" - тепер із фокусом на машинне навчання (ML), штучний інтелект (АІ) та роботу з даними!

Програма стартує 18 вересня та націлена на програмістів, IT-інженерів, студентів IT-спеціальностей і точних наук, а також нетехнічних фахівців, які працюють із даними.

Учасники програми отримають:

✔️45 днів безкоштовного доступу до платформи Google Cloud Skills Boost
✔️практичний досвід
✔️індивідуальні напрями навчання, зокрема з фокусом на АІ, ML та дані
✔️призи від Google
✔️безкоштовні ваучери на сертифікаційний іспит Google Cloud
✔️поради від експертів із хмарних технологій

🔗 Долучайтеся до програми за посиланням!

11.8k 0 33

A/B testing

16 Aug 2023, 15:17

An Introduction to Bayesian A/B Testing in Stan, R, and Python workshop - цікавий воркшоп від Dariia Mykhailyshyna за донат.

Про основи байєсівського підходу до A/B тестування та теорії прийняття рішень для аналізу великомасштабних експериментів у промислових умовах.

Більше корисних воркшопів тут.

@ABtesting

9.9k 0 37