Интернет: цифровая революция эры мгновенной коммуникации. Мегасила, история и влияние на общество. Батыр Каррыев
собираются данные включающие сведения о времени, местоположении, устройстве и пользователе, сведения об оплате эфирного времени, производстве вызовов, отправке SMS, загрузке приложений и многое другое. Эта информация позволяет идентифицировать личность абонента, маршрут его перемещений, социальные связи, финансовую деятельность и предпочтения.
Пользуясь различными электронными устройствами люди оставляют за собой цифровые следы, позволяя делать точные выводы о себе, включая предпочтения, политические взгляды, семенных отношениях и многом другом. В публичных социальных сетях персональные страницы становятся важным источником личной информации, поскольку видны всем. Первыми этим воспользовались властные, партийные и, коммерческие структуры, а также спецслужбы многих стран. Социальные сети типа Facebook куда ежемесячно к 2017 году заходило около двух миллиардов человек стали не только раем для маркетологов, но ориентированным на сбор личных сведений различных структур и организаций.
В свою очередь, также как традиционные картографические построения всё больше подменяются системами геопозиционирования и методами неогеографии использующими сетецентричные технологии, так и технологии официальных статистических бюро всё больше дополняются анализом больших данных. Он позволяет оперативно делать социальные срезы, прослеживать динамику изменений в обществе, а в обратном ключе – влиять на людей и их политические и экономические предпочтения.
С каждым годом увеличивается перечень хранимых данных, и растёт их объём. К 2015 году примерно 90% цифровых данных в мире было создано только за предыдущие два года. По оценкам IBM, к 2015 году ежедневно генерировалось 2,5 квинтиллиона байт данных. Непрерывно растёт объём электронных корреспонденций в сотовых, социальных, финансовых, научных и многих других компьютерных сетях, служебного и общественного характера. Благодаря этому каждые два года мировой объём данных увеличивается более чем в два раза.
В 2009 году компании Arbor Networks и Merit Network совместно с Мичиганским университетом (University of Michigan) проанализировали мировой интернет-трафик. Только за два года он составил 256 эксабайт информации.
В 2004 году интернет-трафик пропорционально распределялся среди десятков тысяч сетей. В 2007 году 15 тысяч сетей отвечали за 50% всего трафика. К 2009 году 60% трафика приходилось всего на сто сетей. К примеру, Google отвечал за 6% всего глобального трафика, и являлся его крупнейшим генератором, а трафик в месяц на YouTube был эквивалентен суммарному трафику всей Глобальной Сети за 2000 год. При этом 52% всего онлайн-трафика составлял веб-трафик, тогда как на остальные протоколы приходилось 42%.
В 2007 году соотношение было противоположным – доля HTTP-протокола составляла 42%, а от 25% до 40% всего веб-трафика приходилось на онлайн-видео. Значительную долю в общем количестве онлайн-трафика составлял файлообмен через P2P-сети.
Большие данные стали неотъемлемым элементом государственной политики. Они позволяют получать сведения о социально-экономической