>  > 【送料無料 プリウス】 215/45R17 17インチ BRANDLE ブランドル M69 トヨタ車専用 7J 7.00-17 YOKOHAMA ヨコハマ ブルーアース RV-02 SALE サマータイヤ ホイール4本セット
フリード+ GB8 フリード GB8 5/8系(7人乗り) シートクッション 車中泊マット 車 マット 軽量 (6個 ブラック) 防災グッズ 車中泊ベッド 段差解消 簡易ベッド カスタムパーツ スペースクッション アウトドア キャンプ ベッドキット 内装 ドレスアップ 車用品
日本語Wikipediaで学習したdoc2vecモデル
2019-01-22

日本語Wikipediaを対象にdoc2vec学習させたモデルを作成したので、学習済みモデルとして公開します。

【送料無料 プリウス】 215/45R17 ヨコハマ 17インチ BRANDLE ブランドル M69 トヨタ車専用 7J 7.00-17 YOKOHAMA ヨコハマ 17インチ ブルーアース RV-02 SALE サマータイヤ ホイール4本セット

doc2vecは2014年にQuoc LeとTomas Mikolovによって発表された文章の埋め込みの手法です。今更doc2vecかという感じではありますが、日本語のdoc2vecの学習済みモデルは探した限り容易に利用できるものがなかったこともあり、せっかくなので作成したモデルを配布します。

word2vecのような単語の分散表現においては学習済みモデルとして配布されたものを利用することが多いですが TS-681 TS681 140/70-14 R 62S TL:TIMSUN (ティムソン)、文章の埋め込みに関しては対象とするドキュメント集合やそのドメインに特化した学習モデルを作成することが多い印象です。なので、学習済みモデルファイルの配布自体にそれほど意味があるわけではなさそうですが、既存手法との比較に利用したり、

、とりあえず何かしらの手法で単語列から文章ベクトルにしたいといった場合には便利かと思います。まあ何も無いよりかはマシかなという雰囲気です。今回の作成の経緯として、別の手法を実装する際にdoc2vecが内部で使われていたということで副次的に必要になったからだったのですが 17インチ サマータイヤ セット【適応車種:ステージア(M35系)】WEDS レオニス MX パールブラックミラーカット/チタントップ 7.0Jx17ヨコハマ エコス ES31 215/55R17、ふと利用したいときに気軽に利用できるというのは結構良いのではないかと思います。


モデル

ここでは2つの学習アルゴリズムでdoc2vecを学習しました。dbow300dはdistributed bag of words (PV-DBOW)を、dmpv300dはdistributed memory (PV-DM)を用いています。なお、モデルファイルはサイズが大きいため 15インチ サマータイヤ セット【適応車種:フリード スパイク(GB3~4)】MONZA JAPAN JPスタイル ベーカー ブラックシルバー/ポリッシュ 5.5Jx15エナセーブ EC202L 185/65R15、Googleドライブに配置してあります。下記リンク先からダウンロードしてください。

モデルの学習パラメータ

param dbow300d dmpv300d
dm 0 1
vector_size 300 300
window 15 10
alpha 0.025 0.05
min_count 5 2
sample 1e-5 0
epochs 20 20
dbow_words 1 0

dbow300dのパラメータは 、An Empirical Evaluation of doc2vec with Practical Insights into Document Embedding GenerationにおけるEnglish Wikipeiaの学習時のパラメータを利用しました。dmpv300dのパラメータは、Gensim Doc2Vec Tutorial on the IMDB Sentiment Datasetの設定を参考にしました。

実験設定

学習元のコーパスには、2019/01/14時点でのWikipediaの 17インチ サマータイヤ セット【適応車種:クー(M400系)】WEDS レオニス CH ブラックメタルコートミラーカット 6.5Jx17ヨコハマ エコス ES300 205/40R17CirrusSearchのダンプデータを用いました。形態素解析にはMeCabを使用し、辞書には ●取付サービス付き(塗装等含む)●●グロウ / grow●ノート E12 フロントグリル 塗装済 インペリアルアンバーNEologdを用いています。また、doc2vecの計算にはgensimを使用しました。利用したパッケージや辞書のバージョンは以下の通りです。

もしモデルが読み込めない場合には、各種ライブラリを最新のバージョンにするなど試してください。


ソースコード

学習時のソースコードは REALIZE Blink Ti(ブリンク チタン) マフラー/ZOOMER 303-011-01、以下のリポジトリにあります。

使い方

トヨタ車専用 ホイール4本セット サマータイヤ 17インチ ブランドル プリウス】 YOKOHAMA BRANDLE ブルーアース 215/45R17 M69 RV-02 ヨコハマ 7J 7.00-17 SALE 215/45R17 ヨコハマ 【送料無料

from gensim.models.doc2vec import Doc2Vec
model = Doc2Vec.load("jawiki.doc2vec.dbow300d.model")

類似するドキュメントを表示する

In []: model.docvecs.most_similar("アリストテレス")
Out[]:
[('オルガノン', 0.5950535535812378),
 ('善のイデア', 0.5811843872070312),
 ('スペウシッポス', 0.5756123065948486),
 ('プラトン', 0.5733123421669006),
 ('ジークムント・フロイト', 0.5668295621871948),
 ('カルキディウス', 0.5634585618972778),
 ('アンモニオス・サッカス', 0.5591270923614502),
 ('メリッソス、クセノパネス、ゴルギアスについて', 0.5568180084228516),
 ('ピレボス', 0.5543898940086365),
 ('睡眠と覚醒について', 0.5480767488479614)]

未知の入力文に対する埋め込み表現を得る

model.infer_vector()には分かち書き済みの単語リストを入力する必要があります。そのため カードでポイント最大34倍 3/21(木)20:00~3/26(火)1:59迄 YOKOHAMA ヨコハマ BluEarth-GT AE51 ブルーアース サマータイヤ 195/55R16 HotStuff WAREN ヴァーレン W04 4本 ホイールセット 16インチ 16 X 6.5 +53 5穴 114.3、ここではMeCabを用いたtokenize()を定義しています。

import MeCab
def tokenize(text):
 wakati = MeCab.Tagger("-O wakati")
 wakati.parse("")
 return wakati.parse(text).strip().split()
In []: text = """バーレーンの首都マナマ(マナーマとも)で現在開催されている
ユネスコ(国際連合教育科学文化機関)の第42回世界遺産委員会は日本の推薦していた
「長崎と天草地方の潜伏キリシタン関連遺産」 (長崎県、熊本県)を30日、
世界遺産に登録することを決定した。文化庁が同日発表した。
日本国内の文化財の世界遺産登録は昨年に登録された福岡県の
「『神宿る島』宗像・沖ノ島と関連遺産群」に次いで18件目。
2013年の「富士山-信仰の対象と芸術の源泉」の文化遺産登録から6年連続となった。"""
In []: model.infer_vector(tokenize(text))
Out[]:
array([-4.52421233e-02, -4.60310102e-01, -7.35630572e-01, 1.16688378e-01,
 1.12721687e-02, 1.63637593e-01, 1.46670029e-01, 6.90088957e-04,
 -1.66465431e-01, -4.73131120e-01, 3.96440744e-01, -3.61171484e-01,
 [...]
 2.84847170e-01, -3.92884701e-01, -2.23438710e-01, 1.59409940e-01],
 dtype=float32) 

(出典:潜伏キリシタン関連遺産、世界遺産登録 - ウィキニュース

任意の入力文に対して類似するドキュメントを表示する

In []: model.docvecs.most_similar([model.infer_vector(tokenize(text))])
Out[]:
[('イタリアの世界遺産', 0.599028468132019),
 ('海の道むなかた館', 0.5562682151794434),
 ('タジキスタンの世界遺産', 0.5554744005203247),
 ('ウクライナの世界遺産', 0.5542891621589661),
 ('バーレーンの世界遺産', 0.552284836769104),
 ('世界遺産センター (曖昧さ回避)', 0.540568470954895),
 ('アラブ首長国連邦の世界遺産', 0.5372575521469116),
 ('アイスランドの世界遺産', 0.5366297960281372),
 ('マレーシアの世界遺産', 0.5362405776977539),
 ('ラトビアの世界遺産', 0.5351229906082153)]

類似する単語を表示する

なお、doc2vecでもword2vecと同様に、任意の単語に対して類似する単語を表示することもできますが、

【送料無料 プリウス】 215/45R17 17インチ BRANDLE ブランドル M69 トヨタ車専用 7J 7.00-17 YOKOHAMA ヨコハマ ブルーアース RV-02 SALE サマータイヤ ホイール4本セット

、単語間の類似度を知りたいだけならword2vecの学習済みモデルである日本語 Wikipedia エンティティベクトルを使った方が良いでしょう。

In []: model.wv.most_similar("一揆", topn=3)
Out[]:
[('百姓一揆', 0.717296302318573),
 ('国人衆', 0.7110892534255981),
 ('国人一揆', 0.7016592025756836)]

ライセンス

CC-BY-SA: 【送料無料】 235/50R18 18インチ BRANDLE ブランドル G72 7.5J 7.50-18 FALKEN ファルケン ジークス ZE914F サマータイヤ ホイール4本セット LUFTFF ホイ-ル 1 本 17インチ 8.00J+30 5H120 5穴 ガンメタリックミラ- MAK ルフトエフエフ [ACRE] アクレ ブレーキパッド フォーミュラ700C フロント用 ラクティス NSP120 10/10~ 1300cc ※代引不可 ※北海道・沖縄・離島は送料2160円Creative Commons Attribution-ShareAlike License


参考

{yahoojp}jpprem01-zenjp40-wl-zd-51908