Коллективный разум побеждает глубокое обучение.
Уже понятно, что компьютеры сильнее человека, даже если этот человек – чемпион мира (шахматы, го и будет много чего еще). Но каков будет результат соревнования компьютеров с коллективным человеческим разумом, - до последнего времени было не понятно. И вот первый замечательный результат – коллективный разум оказался сильней.

В опубликованном вчера исследовании «Opinion Mining From Social Media Short Texts: Does Collective Intelligence Beat Deep Learning?» попытались с помощью краудсорсинга превзойти наилучшие компьютерные результаты, достигаемые глубоким обучением в области майнинга мнений в коротких сообщениях Твиттера и Фейсбука. И авторам это удалось.
Майнинг мнений – это по сути анализ тональности (сентимент-анализ) коротких текстов - твиттов и постов. Результат анализа – понимание настроения авторов в момент написания текстов и/или их отношения к тому, о чем они написали в своих текстах.
По сути – это задача классификации текста. Её можно решать по-разному. Например (и это сегодня наиболее распространенный подход), - анализ лексикона текстов с выделением в нем эмоционально окрашенных терминов (тегов, ключевых слов), показывающих полярность настроения (типа, отличный и ужасный).
Подход, основанный на лексиконе, довольно эффективен для классификации коротких текстов на два разных класса, например, позитивные и негативные настроения. Но по мере включения новых категорий эффективность классификации резко падает. Подходы машинного обучения используют пары текстов и соответствующие метки для обучения моделей классификации.

Авторам исследования удалось эмпирически доказать, что созданные коллективным разумом толпы индексы, названные авторами «лексиконом толпы» и основанные на тэгах, выделенных коллективным разумом, могут эффективно использоваться для обучения моделей классификации настроений для коротких текстов.
Более того! Эти модели, как минимум, так же эффективны, как и модели, разработанные с помощью глубокое обучение или даже лучше.

Особенно замечательно, что масштабированием (увеличением вычислительной мощности компьютеров) ситуацию принципиально не изменить, поскольку для коллективного разума краудсорсинговой платформы нарастить число участников куда проще и дешевле.
Таким образом показано, что при решении интеллектуальных задач, в основе которых есть хотя бы минимальное извлечение смысла (типа выявление новых пар полярно эмоционально окрашенных слов), коллективный разум оказывается сильнее машинного.
Так что эволюция не ошиблась, выбрав Homo Sapience. Хоть в играх человек слабее машин, но по жизни без понимания смысла приходится туго. И здесь человеческий разум сильнее. Если не индивидуальный, так коллективный.
https://www.frontiersin.org/articles/10.3389/frobt.2018.00138/full
#Краудсорсинг #СентиментАнализ

https://www.frontiersin.org/articles/10.3389/frobt.2018.00138/full

Opinion Mining From Social Media Short Texts: Does Collective Intelligence Beat Deep Learning?

The era of big data has, among others, three characteristics: the huge amounts of data created every day and in every form by everyday people, artificial intelligence tools to mine information of those data and effective algorithms that allow this data mining in real or close to real time. On the other hand, opinion mining in social media is nowadays an important parameter of social media marketing. Digital media giants such as Google and Facebook developed and employed their own tools for that purpose. These tools are based on publicly available software libraries and tools such as Word2Vec (or Doc2Vec) and fasttext which, basically, emphasise on topic modelling and extract low level features using deep learning approaches. So far, researchers have focused their efforts on opinion mining and especially sentiment analysis of tweets. This trend reflects the availability of Twitter API that simplifies automatic data (tweet) collection and testing of the proposed algorithms in real situations. However, if we really…
| Frontiers