[1/2] Темные данные (Dark Data. Why What We Don’t Know Is Even More Important Than What We Do) (Рубрика Management)

Недавно я прочитал эту книгу Дэвида Хэнда, члена Британской академии, президента Королевского статистического общества. Меня заинтересовал подзаголовок книги на русском "практическое руководство по принятию правильных решений в мире недостающих данных". В итоге, практического руководства я не увидел, но встретил много реальных историй фейлов при работе с данными. Интересно, что больше половины примеров я уже читал в других книгах, плюс большую часть перечисленных проблем встречал на практике. Поэтому книга, как по мне, не содержит какой-то вау информации, но определенно полезна для думающих людей, что планируют принимать решения на основе данных. Суть в том, что обычно решения принимаются на основе данных, что у нас есть. Но часто для принятия решения не менее важны те данные, которых у нас нет. Автор называет такие данные темными и приводит их классификацию, как обычно неполную, но кажется полезную.

В последней части книги автор дает советы о том, как извлекать из темных данных пользу через

• Рандомизированные контролируемые исследования (привет a/b тесты)
• Симуляции (на эту тему я как-то читал книгу "Вероятностное программирование на практике")
• Репликацию данных (тут автор рассказывает про бутстреппинг)
• Баейсовский подход с априорным распределение (тут можно вспомнить про многорукие бандиты)
• Конфиденцильность данных и сбор их без раскрытия чувствительной информации

Ну и в самом конце автор вспоминает анекдот про поиск под фонарем, где светлее

Пьяный мужик что-то ищет под фонарем. К нему подходит милиционер: — Вы что вы тут делаете? — Ключи от квартиры ищу — А где потерял? — Да вон там, в парке. — А зачем здесь ищешь? — А здесь светлее. И желает читателям найти свои способы расширить маленькое пятно света и осветить окрестности своих данных:)

P.S. В следующем посте я расскажу подробнее про виды темных данных

#Management #Data #Math #Statistics