Big Data для бизнеса: что это и как применять без своих серверов

О больших данных обычно рассказывают так, будто это забота банков и маркетплейсов: кластеры серверов, дата‑инженеры, озёра данных. Для крупной компании так и есть. Но у темы есть и другая сторона. Владельцу кофейни или сети пунктов выдачи не нужно строить собственную Big Data, чтобы пользоваться её результатами. Ему достаточно понимать, что это за технология, чем она способна помочь (выбрать место для точки, найти покупателей, оценить риски), где её выводы можно купить готовыми и чего от них ждать не стоит.

Коротко

• Big Data (большие данные) — это массивы информации, которые из‑за объёма, скорости поступления и разнородности не получается обработать обычной базой данных на одном сервере, а также технологии для работы с ними.
• Классическое описание больших данных — модель трёх V (объём, скорость, разнообразие), её предложил аналитик Даг Лейни в 2001 году. Позже к ней добавили достоверность, ценность и изменчивость.
• Фиксированного порога в гигабайтах нет. Цифры вроде «от 150 ГБ в сутки» — практический ориентир, а не стандарт.
• Типовые задачи, которые бизнес решает с помощью больших данных: рекомендации товаров, оценка рисков и поиск мошенников, выбор места для точки, таргетированная реклама, прогноз спроса, обслуживание оборудования.
• Малому и среднему бизнесу доступны готовые сервисы, построенные на чужих массивах, например на обезличенных данных операторов связи.

Что такое Big Data простыми словами

Big Data (большие данные) — это массивы информации, которые слишком велики, поступают слишком быстро и слишком разнородны, чтобы их можно было хранить и обрабатывать обычной базой данных на одном сервере. Этим же словом называют технологии, которые с такими массивами работают.

Отличие от обычного массива данных проще рассказать на примере. Возьмём таблицу продаж магазина за год. Она может быть длинной, но это обычные данные, то есть строки и столбцы в одном файле, который открывается в Excel или учётной программе. Теперь представим данные о перемещениях миллионов телефонов по городу, которые обновляются каждую минуту, или ленту всех платежей по картам в стране. Такой поток не помещается на один компьютер, приходит непрерывно и состоит из разнородных записей. Хранить и разбирать его приходится иначе, распределяя работу между множеством серверов.

Масштаб таких массивов растёт быстро. По прогнозу аналитической компании IDC, который приводит Statista, в 2028 году в мире будет создано, скопировано и потреблено более 390 зеттабайт данных (зеттабайт — это миллиард терабайт). Это годовой оборот данных, а не объём, который хранится на серверах одновременно. По расчётам Statista, с 2025 по 2029 год этот показатель вырастет примерно втрое.

Получается, что «большими» данные делает не столько размер, сколько то, что привычные инструменты на них перестают справляться.

При этом Big Data нередко называют любой поиск закономерностей в данных, например разбор продаж за несколько лет или сегментацию клиентской базы. Но это аналитика данных, и проводить её можно и на обычной таблице. Для поиска закономерностей есть отдельный термин, data mining (интеллектуальный анализ данных), и его методы одинаково работают на тысяче строк и на миллиардах. Большими данные становятся тогда, когда для такого анализа уже не хватает одного сервера и привычных программ. Аналитика без больших данных вполне возможна, а вот большие данные без аналитики превращаются в дорогой архив.

Откуда взялись три V и почему их стало шесть

Модель, на которую ссылаются почти все статьи о больших данных, появилась в 2001 году. Аналитик Даг Лейни опубликовал заметку о том, что с ростом электронной торговли данные компаний разрастаются сразу в трёх направлениях. Любопытно, что слов «большие данные» в той заметке ещё не было. Лейни писал об управлении данными, а термин закрепился за его моделью позже.

Три исходных параметра такие.

• Volume (объём). Данных так много, что хранить их на одном сервере невыгодно или невозможно.
• Velocity (скорость). Данные поступают непрерывно, и часть решений надо принимать сразу. Банку, к примеру, нужно понять, подозрительна ли операция, пока покупатель стоит у кассы.
• Variety (разнообразие). В одном массиве оказываются таблицы, тексты, фотографии, записи звонков, показания датчиков.

Позже к ним добавили ещё три V, и их состав в разных источниках немного отличается. Чаще всего это veracity, или достоверность (в данных много ошибок, дублей и «мусора»), value, или ценность (хранить данные имеет смысл, только если из них извлекают пользу), и variability, или изменчивость (поток неравномерен и зависит от сезона, праздников, погоды).

Для бизнеса из этих шести V важнее как раз последние. Компании, которые начинали со сбора всего подряд, быстро обнаружили, что хранение ненужных данных стоит денег, а вывод, построенный на неочищенных данных, бывает хуже, чем отсутствие вывода.

Сколько данных считается «большими»

Чаще всего границу проводят по двум цифрам.

• Первая — 8 ГБ, столько вмещает оперативная память обычного компьютера, и всё, что больше, уже не загрузить в неё целиком, приходится обрабатывать по частям.
• Вторая — 150 ГБ новых данных в сутки. Эта граница уже о скорости прироста, а не о размере. За год такой поток набирает около 55 ТБ, и столько не поместится на диск обычного компьютера.

Обе цифры — практический ориентир, а не правило. Общепринятого порога в гигабайтах нет, и в исходной модели Лейни его тоже не было. И это логично, ведь возможности серверов растут, и объём, который в 2010 году требовал кластера, сегодня может обработать одна хорошо настроенная база данных.

На практике всё проще. Если данные помещаются в одну базу на одном сервере и отчёты по ним строятся за приемлемое время, это обычные данные, и специальная инфраструктура им не нужна. Для подавляющего большинства небольших компаний так и есть, ведь CRM (Customer Relationship Management, система управления отношениями с клиентами), учётная система и веб‑аналитика сайта справляются со своим объёмом сами.

Как устроена работа с большими данными

Путь от сырых записей к выводу для руководителя проходит через несколько этапов, и на каждом свои инструменты.

1. Сбор. Данные поступают из приложений, сайтов, касс, датчиков, сетей связи. Одни источники передают их непрерывным потоком, другие порциями по расписанию.
2. Хранение. Сырые данные складывают в распределённые хранилища, часто облачные. Различают хранилище данных (data warehouse), где лежат уже очищенные и упорядоченные таблицы для отчётов, и озеро данных (data lake), куда сырые записи попадают как есть, чтобы разобрать их позже.
3. Очистка и подготовка. Удаляют дубли, исправляют ошибки, приводят записи к одному формату. На этот этап уходит значительная часть работы аналитиков, ведь модель, обученная на грязных данных, выдаёт неверные выводы, и ни одна технология это не исправит.
4. Анализ. Здесь применяют статистику и машинное обучение, то есть алгоритмы, которые сами находят закономерности на большом числе примеров.
5. Представление результата. Выводы превращаются в отчёт, график, рейтинг адресов, список клиентов, которых стоит удержать, или в автоматическое действие, например блокировку подозрительного платежа.

Для обработки используют распределённые системы. Самые известные из открытых — Apache Hadoop и Apache Spark, для быстрых отчётов по огромным таблицам — колоночные базы вроде ClickHouse, созданной в Яндексе. Владельцу бизнеса эти названия пригодятся разве что для разговора с подрядчиком.

Рядом с большими данными почти всегда звучат слова «искусственный интеллект» и «машинное обучение», но это разные понятия. Big Data описывает сами массивы и технологии их хранения и обработки. Машинное обучение — это способ находить в данных закономерности и строить на них прогнозы, когда программа учится на примерах, а не следует заранее прописанным правилам. Искусственный интеллект — самая широкая из трёх областей, в неё входит и машинное обучение, и распознавание речи, и чат‑боты. Вместе они встречаются часто. Например, модель машинного обучения разбирает историю покупок миллионов клиентов и прогнозирует спрос. Но друг без друга они тоже обходятся. Модель можно обучить на небольшой таблице, а большие данные можно разбирать обычной статистикой, без всякого ИИ.

Какие задачи решает аналитика больших данных

Аналитику обычно делят на четыре уровня по тому, на какой вопрос она отвечает.

Все четыре уровня работают на данных любого объёма, и небольшая компания может пройти их на своей учётной системе. Преимущество больших массивов в другом. Чем больше похожих случаев видела модель, тем точнее, как правило, её прогноз, особенно в редких ситуациях.

В бизнесе применение больших данных обычно сводится к нескольким типовым сценариям.

1. Рекомендации. Интернет‑магазины и онлайн‑кинотеатры подсказывают товары и фильмы, сравнивая ваше поведение с поведением похожих покупателей.
2. Оценка рисков и поиск мошенников. Это две разные задачи. Кредитный скоринг оценивает, насколько вероятно, что заёмщик не вернёт деньги. Антифрод‑система (от англ. fraud — мошенничество) проверяет каждую операцию на признаки обмана и может остановить подозрительный платёж. Обе опираются на модели, обученные на больших массивах прошлых операций.
3. Геоаналитика. Сети магазинов, кафе и аптек выбирают адреса для новых точек по реальному потоку людей, а не по ощущению «тут вроде людно».
4. Таргетированная реклама. Рекламу показывают не всем подряд, а аудитории, которая по своему поведению похожа на потенциальных покупателей.
5. Прогноз спроса и логистика. Ритейл планирует закупки и запасы, службы доставки строят маршруты с учётом пробок и загрузки складов.
6. Обслуживание оборудования. На производстве датчики фиксируют вибрацию и температуру узлов, а модель подсказывает, какую деталь пора заменить до поломки.

Как использовать Big Data малому и среднему бизнесу

Тут стоит развести два подхода, которые часто смешивают.

Первый — строить свои большие данные. Это собственное хранилище, специалисты, модели. Оправдано там, где данных правда много: у банка, сети из сотен магазинов, маркетплейса, крупного производства.

Второй — пользоваться чужими большими данными. Крупные держатели массивов (операторы связи, банки, фискальные операторы, картографические сервисы) продают не сами данные, а выводы из них: отчёт о посещаемости улицы, сегмент аудитории для рекламы, оценку риска клиента. Компании не нужно ничего хранить и обрабатывать, она получает готовый результат.

Для небольшого бизнеса чаще всего подходит второй путь. Вот несколько ситуаций, в которых он работает.

• Выбор места для точки. Перед арендой помещения можно сравнить несколько адресов по числу прохожих в разные часы, их возрасту и тому, откуда они приходят. Это дешевле, чем полгода работать в неудачной локации.
• Реклама на свою аудиторию. Вместо показов «всем жителям города» рекламу получают люди, которые по поведению похожи на ваших покупателей.
• Оценка риска клиента. Сервисы скоринга помогают понять, стоит ли давать покупателю рассрочку и не стоит ли за новой регистрацией мошенник. Телеком‑скоринг оценивает прежде всего физических лиц. Компанию‑контрагента проверяют иначе, по сведениям о долгах, судебных делах и отчётности.
• Разбор звонков. Если компания принимает много звонков, речевая аналитика переводит записи разговоров в текст и отмечает темы обращений, нарушения скрипта, недовольных клиентов. Вручную прослушать даже малую долю записей не получится, а сервис разбирает их автоматически и в больших объёмах. Нужно учитывать, что сама по себе такая обработка не делает данные «большими», зато здесь работают те же методы машинного обучения.
• Свои данные без больших систем. Записи из CRM, кассы и веб‑аналитики сайта не станут Big Data, но описательная и диагностическая аналитика по ним уже многое подскажет. С этого стоит начинать и потому, что внешние данные полезнее, когда есть с чем их сравнить.

Почему большие данные могут ошибаться

Большой объём не гарантирует точного вывода. Прежде чем опираться на отчёт или сегмент, стоит помнить о четырёх слабых местах.

• Неполная выборка. Любой источник видит только свою часть людей. Оператор связи знает о своих абонентах, банк о своих клиентах, сайт о своих посетителях. Картину по остальным достраивают статистическими моделями, и погрешность в таких расчётах неизбежна.
• Устаревание. Потоки людей, интересы и привычки покупателей меняются. Данные годичной давности могут описывать район, где с тех пор открылся торговый центр или закрылся крупный офис.
• Вероятность вместо факта. Если модель отнесла человека к сегменту «интересуется автомобилями», это значит лишь, что он похож на тех, кто ими интересуется. Купить машину в ближайший месяц он не обязан.
• Ошибка толкования. Большой пешеходный поток ещё не означает спроса на ваш товар. Мимо остановки за день проходят тысячи людей, но почти все спешат на автобус.

Поэтому выводы из больших данных полезно сверять с тем, что видно на месте. Отчёт покажет, сколько людей проходит мимо дверей и к каким группам они относятся, но не скажет, зайдут ли они именно к вам. Решение о помещении по‑прежнему зависит от витрины, ассортимента, цен и конкурентов рядом.

Big Data и закон: что можно, а что нет

Не все большие данные связаны с людьми. Показания промышленных датчиков, метеонаблюдения или спутниковые снимки к конкретному человеку отношения не имеют. Но как только в массиве появляются сведения, по которым можно прямо или косвенно узнать человека (покупки, перемещения, действия на сайте), их обработку регулирует закон № 152‑ФЗ «О персональных данных».

Для бизнеса, который покупает готовые выводы, важно понимать, в каком виде они приходят. В геоаналитике и рекламных сегментах заказчик получает статистику по группам людей. Он видит, что в будний вечер мимо адреса проходят, условно, три тысячи человек и среди них много молодых семей, но не получает ни номеров телефонов, ни имён. Если подрядчик предлагает «базу номеров людей, которые были возле вашего магазина», это повод насторожиться. Скоринг устроен иначе, его результат относится к конкретному клиенту, по которому сделан запрос. Здесь уже нужно законное основание для обработки его данных.

Если компания собирает и анализирует данные своих клиентов сама, например историю покупок в программе лояльности, ей нужно законное основание для обработки. Это может быть согласие клиента, но закон предусматривает и другие основания, например исполнение договора. Кроме того, данные нужно защищать, а в большинстве случаев также уведомить Роскомнадзор о начале обработки. Конкретный набор обязанностей зависит от того, какие данные и зачем вы обрабатываете, поэтому в спорных случаях лучше свериться с юристом. Эта статья не заменяет юридическую консультацию.

Как большие данные применяет оператор связи: примеры МТС

Операторы связи — одни из крупнейших держателей больших данных. Каждый телефон в сети регулярно связывается с базовыми станциями, и из этих технических записей в обезличенном и агрегированном виде складывается картина того, как люди перемещаются и пользуются связью. Сами операторы применяют её, в частности, чтобы планировать, где ставить новые базовые станции. Для внешних клиентов на этих данных строят отдельные продукты. В МТС их направления в разное время описывали так: рекомендательные системы, скоринг и выявление мошенников, геоаналитика и таргетированная реклама. Бизнесу из них доступны прежде всего три продукта.

• «Геоэффект». Платформа геоаналитики на основе обезличенных данных мобильной сети, геотрекинга и сведений от партнёров. С её помощью оценивают посещаемость улиц, торговых центров и других локаций, сравнивают адреса для новых точек, изучают состав аудитории. Подробнее о том, что умеет платформа, можно прочитать на странице «Геоэффекта».
• «МТС Маркетолог». Рекламная платформа, где аудиторию для показа собирают из готовых сегментов по интересам, поведению, полу, возрасту и географии. В 2025 году число таких сегментов выросло с 250 до 350.
• «МТС Скоринг». Модели машинного обучения на телеком‑данных, которые оценивают вероятность просрочки по кредиту и проверяют клиентов на признаки мошенничества, в том числе при регистрации и входе в аккаунт. Отдельная задача — отсеять тех, кто приходит только за бонусами и кешбэком. Результат приходит по API (Application Programming Interface — программный интерфейс, через который системы автоматически обмениваются данными) в виде скоринг‑балла по конкретному запросу. Сервис рассчитан на банки, микрофинансовые и страховые компании, интернет‑магазины и ритейл, то есть на тех, у кого много однотипных заявок и операций.

Во всех трёх случаях заказчик пользуется результатами обработки больших массивов, не строя собственную инфраструктуру. Различается форма результата. «Геоэффект» выдаёт статистику по локациям и аудитории, «МТС Маркетолог» подбирает сегменты для показа рекламы, а «МТС Скоринг» возвращает оценку риска по конкретному запросу. Так большие данные и становятся доступны бизнесу, у которого нет ни своего хранилища, ни отдела аналитики.