«Большие данные» или «Big Data»

В августе 2021 года IT-индустрию России потряс скандал: компания Xsolla, предоставляющая платежные интернет-решения, сократила более 180 сотрудников в Перми. В качестве главной причины увольнений основатель компании Александр Агапитов привёл анализ эффективности работников при помощи Big Data, что привело к ещё более негативной реакции. Давайте разберемся, что такое «большие данные», они же Big Data?

большие данные или big data

Ранее мы уже рассказывали, что любой человек оставляет цифровой след своего пребывания в сети Интернет. Однако такой же след оставляют программы и механизмы, автоматически генерирующие данные: различные датчики и камеры, бухгалтерские и юридические программы и так далее. Как результат, количество накапливаемых данных лавинообразно растёт. Если в 2003 году весь объём цифровых данных составлял пять экзабайт, то в 2020 году – 40 зеттабайт (в 8000 раз больше), или 400 миллионов терабайтных дисков. Если сложить эти диски воедино, то получившаяся гора будет весить столько же, сколько восемь Эйфелевых башен.

По оценкам учёных, только пять процентов этих данных используются сегодня. Однако это не значит, что остальные данные не могут как-либо помочь человеку. На решение этой проблемы и направлены действия области прикладных наук, в целом называемых «Big data». Критерии принадлежности к таким данным просты и заключены в «трёх V» – высокие скорость возникновения, многообразие и объём информации.

Поскольку вручную анализ такой информации невозможен, это остаётся за программами. При грамотном применении они могут выявить невидимые взаимосвязи: увязать падение производства с незаметным фактором, предсказать выход из строя одного станка на основании накопленной истории эксплуатации, оценить платежеспособность клиента за несколько секунд.

Однако при неправильном применении они способны навредить так же успешно, как и помочь. Неграмотное применение может дискриминировать целые группы населения или привести к несправедливым увольнениям. Теоретически анализ больших данных может помочь группе организованных злоумышленников выявить уязвимости в работе предприятий, социальных служб и общества в целом.