Как росли данные и знания

    « ... не скорость размножения, а именно совокупный опыт, взаимодействие, распространение и передача из поколения в поколение знаний, обычаев и культуры ... определяют скорость роста населения. »

    Профессор Сергей Петрович Капица


    6х109 бит – объем генетической памяти человека.
    Из них только 108 бит – объем оригинальной генетической памяти человека.
    1 млн Тбит информации может хранить человеческий мозг.
    До 11 Мбит/с принимают органы чувств.
    Из них в среднем всего 16 бит/с составляет осознанный человеком информационный поток.
    Из них кратковременная память хранит только 5–9 фактов в течение 20 секунд.
    Из них не более 20% информации остается в долговременной памяти.
    В результате считатется, что человек использует 5–10% объема доступной долговременной памяти.
    Сколько информации может сохранить один человек? Никто не знает…

    первая половина XIX века

    Пример зарождения больших данных: Бельгийский статистик Адольф Кетле инициировал регулярную перепись населения в развитых странах, стал основоположником учения о средних величинах. В 1885 г. основал международный статистический институт, существующий до настоящего времени.

    1917-1930

    Начальный этап советской статистики: проводится большое число специально организованных статистических переписей и обследований, работает множество научных коллективов, строится первый баланс народного хозяйства.

    1940

    Пример зарождения больших данных: В 1940 году во время «битвы за Британию» лондонские статистики тщательно фиксировали местоположение каждой упавшей на город бомбы. По плотности бомбометания можно было делать выводы об интересующих Германию целях, подбирать более эффективные места для зенитных батарей и надежнее прикрывать критические объекты эскадрильями истребителей.

    1943

    IBM создает программируемый компьютер (Automatic Sequence Controlled Calculator) Mark I на основе идей и расчетов Чарльза Бэббиджа.

    1970

    Учеными Дж. Холландом, Л.А.Растригиным, И.Л.Букатовой и другими за период с конца 1960-х годов сформулированы принципы эволюционного развития, которые могут быть компьютеризировны для эволюционного моделирования. Появление теории считается рождением технологии Data mining.

    Джей Форрестер завершил 15-летнее исследование динамических структур социальных систем и сделал вывод: «...Обычно мы испытываем трудности не в нехватке информации о реальной системе. Обычно мы испытываем трудности избирательного подхода к ней. Разнородная информация должна быть организована. Организация информации определяет структуру модели». По сути, он сформулировал задачу для технологий больших данных.

    1976

    Появился первый фирменный персональный компьютер – Apple I.

    Семь террабайт накоплено в крупнейшей библиотеке мира – библиотеке Конгресса США. Сегодня семь террабайт ежедневно пишут пользователи Twitter.

    2009

    Во всех отраслях экономики США было накоплено по 200 Тбайт данных. Для сравнения: объем хранилища данных американского ритейлера Wal-Mart в 1999 году составил 100 Тбайт.

    0,8 Збайта данных накоплено в мире.

    Средняя скорость интернет-доступа в России составляет 1100 Кбит/с.

    2010

    Предприятия накопили 7 Эбайт (эксабайт) новой информации за год, пользователи – 6 Эбайт. Для сравнения: 1 Эбайт даных в 4000 раз превышает объем информации, накопеленной в библиотеке Конгресса США.

    Более 4 млрд человек используют мобильные телефоны, из них 12% – смартфоны, с помощью которых интенсивно наращивается объем накопленной информации

    Агентство национальной безопасности США ежедневно перехватывает и сохраняет 1,7 млрд электронных писем, телефонных звонков и других сообщений. Всего собрана информация о 20 трлн операций.

    ИК «Тройка диалог» внедряет хранилище данных на базе EMC2 Greenplum (решение можно отнести к технологиям Big Data).

    Объем мирового рынка Big Data составил $3,2 млрд.

    2011

    Объем мирового рынка Big Data составил $4,8 млрд.

    В мире 30 млрд RFID-меток.

    В мире 4,6 млрд телефонов с камерой.

    1, 76 Збайта данных накоплено в мире.

    Более 2 млрд человек пользовались интернетом.

    150 Эбайт данных накоплено в мире организациями здравоохранения.

    Средняя скорость интернет-доступа в России составляет 5 Мбит/с.

    235 Тбайт данных накоплено в библиотеке Конгресса США.



    2012

    2,8 Збайта данных накоплено в мире.

    Ежедневно генерируется более 25 Тбайт лог-файлов.

    Более 12 Тбайт данных накоплено в Твиттере.

    Банк «Тинькофф Кредитные Системы» внедрил решение EMC2 Greenplum, которое можно отнести к технологиям Big Data

    Средняя скорость интернет-доступа в России составляет 22 Мбит/с, страна вышла на 26-е место в мире по показателю.

    В США на рынке труда присутствовали лишь 825 data scientists.

    Банк HSBC внедрил технологии больших данных в состав решения для противодействия мошенничеству с кредитными картами. В результате повысилась эффективность службы безопасности и увеличилась точность распознавания инцидентов. По оценке банка, эффект от применения технологии составил более чем $10 млн

    Сургутнефтегаз одним из первых в России внедрил СУБД на базе SAP HANA, которая аккумулирует данные из 29 бизнес-приложений.



    2013

    Только треть от общего мирового запаса данных сгенерирована бизнесом. При этом 85% данных, сгенерированных пользователями, касается бизнеса.

    Только треть от общего мирового запаса данных сгенерирована бизнесом. При этом 85% данных, сгенерированных пользователями, касается бизнеса.

    187 млрд устройств могут составить интернет вещей, но только 7% из них реально подключены к интернету.

    4,4 Збайта данных накоплено в мире, но из них только 1,5% имеют информационную ценность.

    $34 млрд составили расходы на инструменты работы с большими данными.

    Если из планшетов с этим суммарным объемом памяти выстроить дорожку, то можно будет пройти 2/3 пути до Луны.

    Нидерландский поставщик электричества и газа Alliander N.V. владеет 37 тыс. км газовых труб. Компания использует SAP HANA для того, чтобы отслеживать уровень их изношенности и предсказывать возможные поломки и разгерметизацию. Затраты на получение информации о необходимости ремонта по сравнению с затратами на проверки функционирования газопровода силами ремонтных бригад сократились в разы.

    60% данных сосредоточено на зрелых рынках (США, Западная Европа, Япония, Канада, Австралия, Новая Зеландия).

    2014

    Ежедневно происходит 2 млрд событий, которые после обработки занимают 400 Гбайт сжатых даных.

    70% крупных компаний уже используют или планируют внедрить Big Data. В СМБ цифра составляет 56%.

    Средний бюджет крупной компании на технологии Big Data составляет $8 млн.

    Россия накопила 2,4% мировых данных.

    Пенсионный фонд России внедряет SAP HANA для анализа больших данных, лицензия на решение обошлась в 3,6 млн рублей.

    Средняя скорость интернет-доступа в России составляет 18,8 Мбит/с. Для сравнения: в США – 17,81 Мбит/c.

    Менее 1% организаций действительно умеют работать с большими данными, извлекая из их анализа реальную пользу.

    53% компаний в мире считают, что необходимо инвестировать в анализ больших данных. В России доля новаторов выше – 58%.

    Мобильные устройства из интернета вещей генерируют до 18% цифровой информации, в целом накопленной в мире за год.

    60 Тбайт накоплено в облаках ритейлера Amazon.

    160 Тбайт накоплено в Hadoop, 120 Тбайт – в HP Vertica.

    Использование больших данных в телекоме дает прирост выручки 12% («Петер-Сервис»).

    2 ПБ (петабайт) данных генерирует автомобиль за 600 часов езды в году.



    2020

    Если из планшетов с этим суммарным объемом памяти выстроить дорожку, то получится 6,6 расстояния до Луны.

    2012 млрд устройств смогут составить интернет вещей, но только 15% из них будут подключены к интернету.

    60% данных будет сосредоточено на развивающихся рынках (Китай, Бразилия, Индия, Россия и Мексика).

    40–44 Збайт информации будет накоплено в мире (суммарно на всех системах хранения данных), по разным оценкам. Но какая доля информации будет оригинальной?

    Источники:

    совместно с IBS

    slon.ru 2014