Big data как арт-искусство

Проект The Art Of Analytics от компании Teradata выглядит достаточно необычно. Идея проекта — объяснить исследования на основе больших данных в виде художественных образов широкой аудитории. Хотите узнать как выглядит обнаружение мошенничества в банках и террористических угроз или сравнение односолодовых виски? Под катом некоторые из 20 исследований изображенные в виде картин.




Экспертам Teradata в области анализа big data удалось объяснить сложные вещи простым языком, выразив сложнейшие математические связи языком искусства. Вместо графиков и цифр каждый случай работы с bid data представлен абстрактной картиной, напоминающей ассоциативную графику. Проект «Искусство Аналитики» состоит из 20 картин. Как бы просто они не выглядели, это результат действительно кропотливой работы мировых ученых в области big data.

Эпицентр шторма(Eye of The Storm)

На мой взгляд самый интересный проект, визуализация которого при этом похожа на глаз. Это аналитика больших данных во время twitter-шторма (на какой-то твит сразу же появляется огромное количество твитов и ретвитов) по поводу кончины Маргарет Тэтчер.

• Красные точки — пользователи-хейтеры.
• Белые точки — сторонники политики железной леди.
• Желтые — оппозиция.
• Все линии между ними — информационная связь (то есть кто кому и что ответил).

Юзер публикует твит – на картине появляется новая точка. Таким образом, можно узнать, кто являлся «отправной точкой» того или иного поста, понять причины и установить виновных. Такие механизмы могут как минимум найти зачинщиков террористических акций, а то и предотвратить их. Такой анализ активности в соцсетях был бы очень полезен, например, для арабских правительств, сотрясаемых революциями "арабской весны" 2010 года – ведь основные акции протеста оппозиция готовила и координировала в Facebook и Twitter.
Данные были скачены с помощью пакета TwitteR и собирались на протяжении одной недели, потом были загружены в Teradata Aster для дальнейшей обработки. Затем использовался Aster Lens, с помощью которого создавался граф.

Финансовые фонтаны(Funding Fountains)

Этот милый букет из ленкоранской акации – все перемещения денег между разными компаниями, которые отмечены разными цветами.

• Точки — компании.
• Линии — количество транзакций: чем больше линий, тем компания успешнее.

Большая компания будет смотреть на большие цветки и сотрудничать с ними, уберегая себя от рисков, а хилые цветочки – рискованные предприятия – будут привлекать внимание различных фондов поддержки, не затрагивая таким образом весь рынок и не подвергая риску экономику в целом. Одно из применений — налоговая полиция может воспользоваться такой аналитикой, чтобы инициировать проверку компании на предмет незаконных финансовых операций.
Данные о сделках, загруженные для обработки: более 60 млн. записей о 670 тыс. компаний. В графе насчитывается 3883 точек и 3943 линий.

Звездные врата(Stargate)

Анонимизированная визуализация является частью аналитического проекта, проведенного в Тайване для одного мобильного оператора, стремящегося прекратить вредоносные интернет-атаки в свой адрес.
«Звездные врата» нацелены на идентификацию и остановку – APT-атак (Advanced Persistent Threat), представляющих собой скрытые и продолжительные процессы взлома компьютеров и систем, нацеленных на конкретную организацию или целую страну по политическим или бизнес-мотивам.

• Точки — веб-страницы, открытые пользователем.
• Ребра — пути по направлению к другим страницам.
• Ширина линии — характеризует промежуток времени пребывания на сайте, а размер узлов представляет показатель, рассчитанный на основе 128 характеристик веб-страницы(категория, оценка репутации, частота посещений, контент, TTL- предписанного времени жизни пересылаемого пакета).
• Более крупные узлы в центре картины — представляют собой сайты высокой степени риска, которые приводят к вредоносному поведению, на которых имеет смысл увеличить политику безопасности, как пример WAL(Web application firewall).

Анализ охватывает данные логов 2300 сотрудников за период эксплуатации системы в течении одного года. В этом анализе используется nPath, кластерная и текстовая аналитика.

Основные инструменты анализа:

• Teradata Aster — обработка данных.
• Aster Lens / Quartal Super Graphics / Gephi — визуализация данных.

Интересные ссылки:

1. Презентация со всеми 20 проектами на английском.
2. Офицальная страница проекта Art of Analytics.
3. Еще одна страница проекта.