Датамайнинг (data mining): от общего к частному.

ДатамайнингData mining (датамайнинг, глубинный анализ данных) — собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.

Не секрет, что в современном мире полная приватность практически невозможна: так или иначе каждый из нас ежедневно попадает во всевозможные списки, отчёты и статистические выборки. Мы расплачиваемся банковскими картами, пользуемся мобильными телефонами, покупаем билеты… А в интернете количество оставляемых нами следов вообще колоссально: от списка посещённых страниц и до запросов к поисковым системам — всё это вполне возможно перехватить и собрать в единую базу данных.

Собственно, в глубоком анализе огромного количества данных в таких базах (на основе специально разработанных паттернов) и заключается суть датамайнинга.

Например, нет ничего подозрительного в переводе денег с одного банковского счёта на другой. Или в покупке билета на самолёт в крупный город. Или в покупке хозяйственных удобрений. Или, скажем кухонного таймера или нескольких дешёвых мобильных телефонов в интернет-магазине. Но если все эти действия предпринял один человек и в короткий срок, то им определённо стоит заинтересоваться местной антитеррористической службе.

Казалось бы, объединение столь разнородной информации в таких больших количествах — нереально сложная задача. Но тем не менее, оно уже давно возможно и даже работает.

Программа «Полный информационный контроль» (Total Information Awareness) , суть которой заключалась в выявлении подозрительных паттернов поведения, разрабатывалась в стенах Пентагона с 2002 по 2003 год, после чего под влиянием протестов сменила название на «Антитеррористический информационный контроль» (Terrorism Information Awareness — TIA) и стала практически полностью засекреченной. В отчете Министерства национальной безопасности США за этот год речь идёт уже о трёх действующих подобных программах. Подобные проекты развивают и другие страны: Китай, Великобритания, Франция, Израиль и Германия.

Легитимность подобного анализа всех сфер деятельности населения на сегодняшний день является острой причиной споров: разобраться в том, что важнее, безопасность или приватность, пока не удалось. А пока идут споры, сбор и анализ данных вовсю процветает в интернете — там его развитие практически ничто не ограничивает.