10 глобальных проблем, откоторых нас избавит цифровая эпоха
Знание - власть: как данные изменят государство в XXI веке
20 неожиданных открытий, сделанных благодаря анализу данных
Каждому по потребности. Как данные меняют образование
Добровольцем будешь? Доставай смартфон!
Когда данных слишком много: Банки на передовой Big Data
Супермаркет в роли гинеколога: Как данные растят прибыль, раскрывая лишнее
Ураганный бизнес: как заработать на прогнозах погоды
Собеседование с роботом
Большие данные для Большого брата
Интерпретируй это. Как избежать ошибок Big Data
Учимся считать: откуда берутся специалисты по анализу Big Data
Они нас посчитали
Сети ритейла: как Big Data помогает поймать нужного покупателя
Немашинный перевод

глобальных проблем, от которых нас избавит цифровая эпоха

Катастрофы, голод, ­исчерпаемость ресурсов — действительно ли мы должны со всем этим мириться?

Теория мертва, написал шесть лет назад главный редактор влиятельного журнала Wired Крис Андерсон. В «эпоху петабайтов» нет смысла выдвигать гипотезы, не нужны выборки и экстраполяции: данных так много, что каждую проблему можно описать и объяснить точно и обстоятельно, не прибегая к помощи упрощающей теории. Науке в ее традиционном понимании конец.

Энтузиазм Андерсона можно и даже хочется понять, но сегодня так уже не думает почти никто. Известные исследователи больших данных Виктор Майер-Шенбергер и Кеннет Кукьер подчеркивают, что петабайты и экзабайты не заменят ученых и аналитиков, хотя и дадут им новые методы работы.

Slon выбрал десять глобальных проблем, которые благодаря масштабному компьютерному анализу будут решать совсем иначе — и может быть, когда-нибудь решат совсем.

Прогнозы погоды

Известно, что прогнозы погоды, заглядывающие дальше 7–10 дней, граничат с художественным вымыслом. Однако в XXI веке эта мудрость может оказаться неактуальной. Стартап EarthRisk Technologies анализирует массивы погодных данных за последние 60 лет и утверждает, что это позволяет прогнозировать экстремальные природные условия за 40 дней с 70-процентной точностью. Даже если конкретные методики ошибочны, в целом быстрое накопление климатических данных неизбежно повысит точность прогнозов метеорологов. Последствия очевидны: от бытовых удобств и страхования до сельского хозяйства и транспортного сообщения.

(О том, как прогнозы погоды с помощью Big Data позволяют зарабатывать в разных сферах бизнеса, читайте в отдельной статье).

Качество медицины

Данные во врачебной практике сегодня применяются повсеместно, и на их основе строится новая предсказательная медицина. На основании изучения состояния сотен тысяч младенцев ученые учатся предсказывать возникновение у них инфекций. Анализ данных становится и основой больших проектов по исследованию ДНК — например, Cancer Genome Atlas, справочник по генетическим мутациям, связанным с появлением разных видов злокачественных опухолей. Большое будущее обещают стартапам вроде 23andMe, которые благодаря быстрому и недорогому генетическому анализу помогают выявить индивидуальные риски для здоровья и скорректировать свою жизнь, чтобы держаться от этих рисков в стороне. Когда революция данных соединится с новыми биотехнологиями, сильно поменяется сам облик здравоохранения: персонализированное лечение и страхование, упор на превентивную медицину, а также, вероятно, более сознательное отношение к своему здоровью, телу и его показателям.

Есть и другая проблема: человечество тратит на медицину все больше и больше. Но есть шансы остановить этот снежный ком. Консалтинговая компания McKinsey утверждает, что если одно только американское здравоохранение по-настоящему эффективно научится использовать данные, то можно будет экономить около $300 млрд в год, а колоссальные расходы страны в этой области снизятся на 8%. За счет чего? Прежде всего за счет более тщательного сбора данных о состоянии и обслуживании пациентов, врачебных ошибках и т.д., за счет сокращения числа эпидемий и снижения их опасности, прорывов в разработке новых лекарств и более эффективных клинических испытаний. Анализ существующей врачебной практики позволит меньше тратить на работу больниц, устранить множество злоупотреблений и лишних трат в государственных системах здравоохранения.



верю
в это сложно поверить


Преступность и терроризм

Дедукция, прославленная Конан Дойлом, и дальше будет одним из главных методов раскрытия преступлений. Только теперь изрядная доля интеллектуального труда будет возложена на компьютеры. Например, Агентство национальной безопасности уже сейчас использует анализ данных, чтобы предвидеть террористические заговоры и раскрывать их.

ЦРУ с помощью компьютеров и сетевого анализа воссоздает структуру международного финансового подполья и механизмов отмывания денег. Технологические компании в США и других странах помогают полицейским анализировать в реальном времени потоки торговли людьми и перемещения секс-работников. А благодаря анализу сообщений в соцсетях и смс-трафика в неспокойных регионах можно прогнозировать новые вспышки насилия и этнические конфликты.

Данные сильно помогают и в борьбе с более обыденной преступностью. Аналитики изучают статистику за много лет, чтобы найти самые опасные и криминогенные точки городов, объяснить их возникновение и вовремя вмешаться, чтобы подавить эти опасные очаги. В Лос-Анджелесе, например, усилили полицейское присутствие на улицах, где чаще всего происходят ограбления и автомобильные кражи — преступность снизилась. В Сан-Франциско выяснилось, что всплески преступности происходят во время игр местных бейсбольных команд.


Тестируются и более фантастические технологии, которые, как в фильме «Особое мнение», претендуют на выявление будущих преступников, которые пока еще ничего криминального не совершили. И это ставит огромные моральные и юридические проблемы. Но если не заходить так далеко, то анализ данных уже сейчас помогает сделать города и планету в целом спокойнее и безопаснее, сэкономить на полиции, армии и тюрьмах.

согласен
с этим сложно согласиться


Голод

Сельское хозяйство кажется архаичной отраслью экономики, но на самом деле революции в этой отрасли происходили с самого начала человеческой истории и продолжаются сейчас. Компьютеры и данные позволяют превратить продукт земли в продукт технологический. Калифорнийские виноделы показали, что изготовление вина — не обязательно искусство: с помощью сенсоров, измеряющих влажность, температуру и прочие показатели почвы, легко подобрать оптимальное место для выращивания винограда того или иного сорта. Разумеется, эти же и многие другие технологии применимы к чему угодно — от рисовых полей до банановых плантаций. Изучая условия созревания плодов, агротехнологи повышают урожайность, а затем могут и генетически модифицировать культуры, выбирая самые стойкие и продуктивные популяции.

Еще один пример, как данные помогают продовольственной безопасности, — проект индийской компании Tech Mahindra, которая с помощью системы сенсоров замеряет условия перевозки продуктов по морю и выявляет риски для скоропортящейся продукции. То есть анализ данных поможет не только производить более питательную и полезную пищу, но и гораздо меньше выбрасывать.

Пробки и ориентация в мире

Появление GPS и других систем глобального позиционирования изменило многое. Но как доказывает McKinsey, анализ данных еще раз перевернет наши способы ориентации в мире. Это и борьба с пробками — новые массивы данных позволят быстрее и умнее реагировать на возникающие заторы и предлагать экономичные маршруты объезда. Это и оперативное решение городских проблем, от ям на дорогах до состояния атмосферы. Анализ данных позволит правильно строить транспортную инфраструктуру, что сделает жизнь намного комфортнее, а добираться до работы будет быстрее. Например, ученые из MIT показали, что если перевести на самоуправляющиеся автомобили целый город, то машин станет в несколько раз меньше, пробок тоже, а средний горожанин будет экономить на транспортных расходах порядка $15 тысяч в год (сумма, конечно, зависит от города).


Да и вообще данные выведут городское планирование на новый уровень: можно будет с большой точностью и надежностью прогнозировать, где понадобятся новые дома, торговые центры, парки и светофоры. Это и новые возможности для бизнеса: отслеживание паттернов поведения людей в торговых центрах и магазинах, точная геотаргетированная реклама, более гибкая автомобильная страховка, зависящая от паттернов поездок. Провайдеры услуг, как считает McKinsey, могут дополнительно заработать на всем этом около $100 млрд за десять лет.




согласен
с этим сложно согласиться

Истощение природных ресурсов

Прогнозы о скором окончании нефти или других ресурсов, как пишет эколог и экономист Мэтт Ридли, обычно оказываются необоснованными — человечество находит способы эффективнее добывать эти ресурсы или замену им. Но все-таки запасы Земли ограничены, и расходовать их нужно экономнее. В этом анализ данных окажет огромную помощь. Во-первых, это более грамотная работа с огромными массивами информации, которую собирают нефтяные, угольные или даже рыболовецкие компании — чем лучше они понимают процесс добычи, свои успехи и ошибки, тем эффективнее извлекают ресурсы. По оценке Bain, анализ данных позволяет повысить производительность добычи на 6–8%.

Во-вторых, это анализ собственно информации о Земле — геологических, климатических и прочих данных о залегании природных ресурсов и их воспроизводстве. Проект Google Forest Watch, например, позволяет следить за состоянием лесов. Google в считаные часы рисует карты проблемных территорий, на составление которых раньше уходили годы, показывает, где возникает или может возникнуть дефицит.


В-третьих, ресурсы можно экономить не только путем более эффективной добычи, но и путем более правильного расходования. Если мы хорошо понимаем спрос на автомобили или бананы, а главное, умеем этот спрос предсказывать, то мы знаем, где строить новые заводы или распахивать новые поля, чтобы быстрее удовлетворять спрос, но также знаем, когда нужно остановиться, чтобы избежать перепроизводства. В будущем это, несомненно, подтолкнет нас по-новому планировать расселение людей, чтобы тратить ископаемые и биологические запасы Земли не так щедро, как сейчас. Наконец, анализ данных кардинально меняет сортировку и переработку отходов, повышая ее производительность.

верю
в это сложно поверить

Превращаем ваши данные
в новый источник эффективности


Дефицит энергии

Хотя мы и учимся использовать энергоносители эффективнее, миру нужно все больше и больше энергии, чтобы поддерживать рост потребления и качества жизни. Значит, нужны и радикальные новые решения в энергетике, основанные на данных. «Умные» сети (smart grids), которые стали развиваться в последние десять лет, умеют управлять собственной нагрузкой, прогнозировать спрос и быстро перебрасывать энергию на нужные участки. Это позволяет серьезно сэкономить на передаче энергии и ее хранении.

Кроме того, благодаря более умному регулированию работы энергосетей мы сможем больше полагаться на «зеленую» энергетику (солнечные батареи, ветряки и пр.). Снижение потерь и более прочная опора на возобновляемые источники приведет к тому, что обычные потребители будут меньше платить за отопление и освещение в своих домах. Кроме того, эксперты прогнозируют, что в «умных» сетях потребители сами смогут производить и продавать энергию в зависимости от спроса на нее. В конечном счете энергетика станет более распределенной и более надежной.


верю
в это сложно поверить






катастрофы

Анализ данных становится все более востребованным делом в борьбе с природными бедствиями и крупными авариями. Первым делом, разумеется, в их предотвращении: если с помощью датчиков, установленных на трубопроводах, магистралях и больших производствах, отслеживать состояние техники и вовремя отлавливать мелкие неисправности, можно предугадывать большие аварии и избежать дорогостоящей ликвидации последствий. Кроме того, зная вероятность землетрясения или урагана и механизмы разрушений, к природным бедствиям можно подготовиться, а на худой конец, просто вовремя вывезти людей и самое ценное.

Бурно развиваются и методы реакции на бедствия и крупные аварии. Анализ соцсетей и другой информации, поступающей оперативно с мест, очень помог властям во время урагана «Сэнди» в США и ядерной катастрофы в Фукусиме. В случае с «Сэнди» аналитики следили за постами в Instagram и хэштегами в Twitter, чтобы понять, как обстоит ситуация с запасами еды, воды и электричеством в разных пораженных районах, какими темпами идет эвакуация. Агентство FEMA (американское МЧС) изучило порядка 150 тысяч снимков с воздуха и быстро смогло понять, сколько людей оказалось в зоне бедствия и кому прежде всего нужна помощь. Теперь все эти собранные данные используются для того, чтобы выстроить и отработать механизмы реакции на будущее: кого спасать в первую очередь, какие объекты укреплять, чтобы люди смогли продержаться какое-то время, и т.д.





Дорогое государство

Даже в самых рыночных экономиках государство обходится обществу все дороже и дороже: новые служащие, новые программы, системы контроля и надзора. Консультанты McKinsey изучили, как анализ данных может помочь госсектору, на примере бюрократии в ЕС. Выходит, что издержки государственной деятельности можно сократить на 15–20%, а в масштабах Евросоюза это 150–300 млрд евро в год. Откуда такие суммы? Прежде всего, благодаря приведению дел в порядок. Форматы данных в госорганах чаще всего несовместимы друг с другом, и элементарная информация извлекается с большой сложностью — даже когда у двух ведомств есть электронные базы, данные между ними порой приходится пересылать по факсу или по почте. А чем проще доступ к данным, тем меньше нужно нанимать чиновников, тратить бумаги, электричества и т.д. И чем больше данных под рукой, тем большие плоды приносит их анализ.



Немецкая служба занятости выделила несколько групп безработных и проанализировала, какие меры лучше помогают каждой из них. В результате после работы над ошибками удалось не только сократить бюджет службы на 10 млрд евро в год, но и ускорить поиск работы для безработных немцев. На государственных закупках можно экономить до 30%, рассчитали в McKinsey, если планировать проекты по науке (и особенно если вывести за скобки коррупцию).

Наконец, если у частных компаний в одной отрасли производительность обычно различается максимум раза в два, то среди госструктур она может расходиться даже в шесть раз. Если вывести лучшие образцы и стандарты и подтягивать к ним отстающих, это принесет огромную экономию. Наконец, анализ государственных машин и баз данных позволит понять, какие операции эффективнее оставить за государством, а какие — передать на аутсорсинг частным фирмам.

согласен
с этим сложно согласиться



Языковое столпотворение

Национальный язык — это предмет гордости, но одновременно и барьер для развития человечества. Решить эту проблему, к всеобщему удовлетворению, мог бы автоматический синхронный перевод на любой язык. И сейчас становится ясно, что он вполне возможен благодаря огромным массивам накопленных данных.

Еще в 1980-х годах разработчики систем компьютерных переводов заметили, что дело тут не столько в качестве алгоритма, сколько в объеме и качестве исходных данных, которые этому алгоритму скормили. Даже слабые и менее изощренные алгоритмы перевода сильно вырывались вперед, если их потренировать на большом объеме текстов. Следующий шаг сделала компания Google, чьи серверы сегодня ежедневно обрабатывают сотни миллиардов слов и предложений и чей алгоритм благодаря этому может мгновенно переводить человеческую речь на десятки языков. При всей грубости и ошибках получаемого перевода можно утверждать, что проблема понимания текста на других языках принципиально уже решена. Microsoft уже в этом году обещает ввести систему синхронного автоматического перевода в Skype с нескольких языков.



Качественный компьютерный перевод изменит очень многое; например, он откроет дорогу на глобальный рынок труда сотням миллионов, если не миллиардам человек из разных стран, а издержки бизнеса на труд сильно снизятся. Да и вообще, разве это не здорово, когда каждый человек на планете может понимать слова любого другого?

согласен
с этим сложно согласиться
совместно с IBS

slon.ru 2014