Roman(tic) (infist_xxi) wrote,
Roman(tic)
infist_xxi

Кино

Вчерашний опрос mi3ch про кино набравший более тысячи комментариев в купе с некоторой ленью их все читать побудил меня к автоматизации сбора статистики по любимым фильмам френдов Митрича :)

Итак, задача: получить 50 самых упоминаемых кинофильмов в опросе на предмет "а вдруг чего достойного найдется".

Решение

Часть 1: просим поиск по блогам Яндекса отдать нам комментарии к соответствующему посту. Они умеют отдавать их в виде RSS потока что гораздо удобнее для дальнейшего анализа. Сервис чуть жадноват (ну это понятно - их дело поиск организовывать, а не раздавать желающим список каментов), и отдает только 1000 комментариев, но хитрым финтом ушами его можно уломать и на 2000 :) Итого: 1322 комментария к посту.
 
Часть 2: организуем некоторый первичный datamining с целью автоматического извлечения названий фильмов из собранного массив информации и подсчета их упоминаемости. Покопавшись в обрезках комментариев и убедившись что больше из них ничего не получим путного, переходим к части 3.

Часть 3: ищем опечатки и разные варианты написания помогая себе алгоритмом нечеткого сравнения строк, выделяем ТОП-50 фильмов. Особо не стараемся уже, потому что хочется домой и кушать.
 
Результат:

ТОП-10
служебный роман            61
форест гамп                56
любовь и голуби            53
покровские ворота          48
ирония судьбы              53
пятый элемент              40
чужой                      37
назад в будущее            35
достучаться до небес       35
амели                      34
ТОП-50
криминальное чтиво            31
властелин колец               31
брат                          30
бойцовский клуб               29
день сурка                    29
москва слезам не верит        27
мимино                        23
звездные войны                23
кин-дза-дза                   23
реальная любовь               22
собачье сердце                22
терминатор 2                  22
большой лебовски              19
девчата                       18
в джазе только девушки        18
тот самый мюнхгаузен          17
шерлок холмс                  16
обыкновенное чудо             14
побег из шоушенка             14
бриллиантовая рука            14
матрица                       14
операция ы                    14
свой среди чужих              13
гараж                         12
леон                          12
день выборов                  11
формула любви                 11
офицеры                       11
унесенные ветром              11
семь                          10
однажды в америке             10
касабланка                    10
о чем говорят мужчины         10
красотка                      9
терминатор                    9
старики                       8
гордость и предубеждение      8
асса                          8
белое солнце пустыни          8
место встречи изменить нельзя 8
Погрешности, конечно, есть, поэтому выводов не будет :)
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 1 comment