映画の概要から似た映画を分類できるか試すその2（改良を試す） Pythonで映画分析 #2

今回すること
ざっくり結果から
実践
まとめ

今回すること

前回の映画の分類では20個の分類で分けました。

今回は分類を増やして試したいと思います。

また、似た映画として

Word2Vecの結果からコサイン類似度を用いて求めてみます。

また、

overveiw（概要）
keywords（キーワード）
genres（ジャンル）

の3次元で分類した結果の空間の距離とコサイン類似度から似た映画がどんな作品として出てくるのかを確認します。

ざっくり結果から

まずは結果なんですけど。

チョー微妙な結果になりました。（むしろ失敗？？）

それでも読んでみようという勇気のある方、この先をお読みください（笑）

実践

データ

前回の記事にも記載しましたが、データは以下のものを使っています。

TMDB 5000 Movie Dataset

Metadata on ~5,000 movies from TMDb

Word2Vec

これも、前回の記事に記載していますが、概要の文章をWord2Vecを用いてベクトルにしています。

しかし、ここで求めたベクトルは概要の文章毎に次元数が異なります。

このため、ベクトル間のユークリッド距離が求められなかったのでWord2Vecを用いて作成したベクトル間で似たベクトルはコサイン類似度を用います。

コサイン類似度とは、

2つのベクトルが「どのくらい似ているか」という類似性を表す尺度のこと
値の範囲は-1 ~ 1
1→「0度で、同じ向きのベクトル＝完全に似ている」0→「独立／直交した向きのベクトル＝似ている／いない、のどちらにも無関係」-1→「反対向きのベクトル＝完全に似ていない」ということ
要は1に近い方が似ているベクトルということ

pythonコード

コサイン類似度を求めるコードは以下のようになります。

# 「アバター」のベクトルを求める
movie_word2vec_df['cluster_label'] = labels
avater_df = movie_word2vec_df[movie_word2vec_df['title'] == "Avatar"]
avater_vectore = movie_word2vec_df[movie_word2vec_df['title'] == "Avatar"]['sentence_vectors'].values

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

target_label = 16  # 対象のクラスタのラベル
filtered_df = movie_word2vec_df[movie_word2vec_df['cluster_label'] == target_label]
movie_populer_df = filtered_df[filtered_df['popularity'] >= 80]

def get_similarity(x, original_vec):
    x_array = np.array(x)
    
    # コサイン類似度を計算
    return  cosine_similarity(x_array.reshape(1, -1), original_vec[0].reshape(1, -1))
    
movie_populer_df['similarity'] = movie_populer_df['sentence_vectors'].apply(get_similarity, original_vec=avater_vectore)

sorted_df = movie_populer_df.sort_values('similarity')

結果

類似度１位：「インセプション」（Inception）

類似度：0.99989927

類似度２位：「マレフィセント」（Maleficent）

類似度：0.99981683

類似度３位：「ターミネーター:新起動/ジェニシス」（Terminator Genisys）

類似度：0.9997823

類似度４位：「ヒックとドラゴン2」（How to Train Your Dragon 2）

類似度：0.99976265

類似度５位：「アベンジャーズ」（The Avengers）

類似度：0.99969876

１位が「インセプション」は疑問なところですね。

４位の「ヒックとドラゴン２」はめっちゃわかります。

どれも0.99以上なのでほぼ似ているってことなんですよね。

3次元空間の距離を求める

次に3次元です。

3次元ベクトルはもう求めた前提で話を進めます。（カラム名や変数名は前回の記事と同じものです）

コサイン類似度とユークリッド距離で

コサイン類似度（結果）

コサイン類似度のコードは上記と同じなので割愛します。

結果は以下のようになりました。

類似度１位：「マレフィセント」（Maleficent）

類似度：0.9673

類似度２位：「アベンジャーズ」（The Avengers）

類似度：0.9499

類似度３位：「ターミネーター:新起動/ジェニシス」（Terminator Genisys）

類似度：0.9385

類似度４位：「ヒックとドラゴン2」（How to Train Your Dragon 2）

類似度：0.7600

類似度５位：「インセプション」（Inception）

類似度：0.6412

Word2Vecの時と作品は同じですが、順位が変わりました。

「マレフィセント」と「アベンジャーズ」と「ターミネーター:新起動/ジェニシス」が強いですね。

Word2Vecの時と同じく0.9越えです。

ただやはり、この3つ映画は決して「アバター」と類似しているとは思えません。

ユークリッド距離（pythonコード）

次にユークリッド距離です。

pythonコードは以下のようになります。（4行目は今回はアバターのWord2Vecで分類されたラベルが45なので、45です。）

（また、基準となるavater_vectoreを用意していますが、avater_vectoreの求めるコードは上記で記載済みです。）

import numpy as np

movie_word2vec_df['cluster_label'] = labels
target_label = 45  # 表示させたいクラスタのラベル
filtered_df = movie_word2vec_df[movie_word2vec_df['cluster_label'] == target_label]
movie_populer_df = filtered_df[filtered_df['popularity'] >= 80] # 知名度がある程度ある映画に絞る

def get_distance(x, original_vec):
    return  np.linalg.norm(np.array(x) - np.array(original_vec[0])) # ベクトル間の距離をもとめる
    
movie_populer_df['distance'] = movie_populer_df['combined_vectore'].apply(get_distance, original_vec=avater_vectore)

sorted_df = movie_populer_df.sort_values('distance')