>  > 【送料無料 プリウス】 215/45R17 17インチ BRANDLE ブランドル M69 トヨタ車専用 7J 7.00-17 YOKOHAMA ヨコハマ ブルーアース RV-02 SALE サマータイヤ ホイール4本セット
PMC 【ピーエムシー】 YSS (ワイエスエス) Z366 360mm CB-F 750/900 27N 【116-311320S7】
日本語Wikipediaで学習したdoc2vecモデル
2019-01-22

日本語Wikipediaを対象にdoc2vec学習させたモデルを作成したので、学習済みモデルとして公開します。

【送料無料 プリウス】 215/45R17 ヨコハマ 17インチ BRANDLE ブランドル M69 トヨタ車専用 7J 7.00-17 YOKOHAMA ヨコハマ 17インチ ブルーアース RV-02 SALE サマータイヤ ホイール4本セット

doc2vecは2014年にQuoc LeとTomas Mikolovによって発表された文章の埋め込みの手法です。今更doc2vecかという感じではありますが、日本語のdoc2vecの学習済みモデルは探した限り容易に利用できるものがなかったこともあり、せっかくなので作成したモデルを配布します。

word2vecのような単語の分散表現においては学習済みモデルとして配布されたものを利用することが多いですが バリオスII(BALIUS-II)97~07年 ロードコメット クリアスクリーン メタリックスパークブラック(660) 通常スクリーン CHIC DESIGN(シックデザイン)、文章の埋め込みに関しては対象とするドキュメント集合やそのドメインに特化した学習モデルを作成することが多い印象です。なので、学習済みモデルファイルの配布自体にそれほど意味があるわけではなさそうですが、既存手法との比較に利用したり、

【送料無料 プリウス】 215/45R17 17インチ BRANDLE ブランドル M69 トヨタ車専用 7J 7.00-17 YOKOHAMA ヨコハマ ブルーアース RV-02 SALE サマータイヤ ホイール4本セット 【SALE価格で通販中】

【メーカー在庫あり】 HM90F90AD80725.4 イスカルジャパン(株) イスカル X ヘリ2000ホルダー HM90 F90A D80-7-25.4 JP店;【送料無料】【アライヘルメット (ARAI)】 ASTRAL-X(アストラル) アルミナシルバー フルフェイス ヘルメット 【次世代ツアラーヘルメット】;アクレ レガシィ BLE 2.5i SI-Cruise (03/09~09/05) ブレーキディスクローター フロント 2枚セット スリットタイプ

【送料無料 プリウス】 215/45R17 17インチ BRANDLE ブランドル M69 トヨタ車専用 7J 7.00-17 YOKOHAMA ヨコハマ ブルーアース RV-02 SALE サマータイヤ ホイール4本セット;165/70R14 RADAR レーダー RPX800 アールピーエックス ハッピャク Laffite LE-03 ラフィット LE-03 サマータイヤホイール4本セット;J80012720 カワサキ純正 春夏モデル カワサキクラシックエアインテークライダース 黒 Lサイズ J8001-2720 HD店;CUSCO (クスコ) type MZ Spec-F LSD リア 2way(1.5&2way) Spec-F 品番:LSD 271 KT2B ニッサン スカイライン GT-R 型式:BNR32 年式:1989.8~1994.12;ダンロップ ウィンターマックス02 WM02 255/35R18 90Q 【255/35-18】 【StudlessTire】【新品スタッドレスタイヤ】 DUNLOP TIRE WINTER MAXX 02 WM02 【店頭受取対応商品】【通常ポイント10倍!】

SWAGE-LINE スウェッジライン フロント ブレーキホースキット ホースの長さ:150mmロング ホースカラー:ブラックスモーク SR400 SR500, 【イベント開催中!】 PMC ピーエムシー コアガード Hex Core Protecter[ヘックス・コア・プロテクター] オイルクーラー用 Monster SS, 【S627】エスクード [H20/6-H24/7][TDA4W / TDB4W] カジュアル ライトグレー Bellezza ベレッツァ シートカバー, チャージスピード ランエボ ランサー CT9A エボリューション8 ボンネット カーボン CHARGESPEED BottomLine ボトムライン, ACRE ライトスポーツ RX-7 FC3S / FC3C アクレ リア用 【バイク用メッシュグローブ付】 PERFECT POWER リチウムイオンバッテリー LFP12A-A 【互換 YUASAユアサ YB12A-A FB12A-A 12N12A-4A-1】Z400FX CM250T CBX400F CB550 XJ400 CB250Tスーパーホーク XS250 SRX250

、とりあえず何かしらの手法で単語列から文章ベクトルにしたいといった場合には便利かと思います。まあ何も無いよりかはマシかなという雰囲気です。今回の作成の経緯として、別の手法を実装する際にdoc2vecが内部で使われていたということで副次的に必要になったからだったのですが デイトナ クローム スタッドレス タイヤ ホイール セット 4本 16インチ 6H139.7 6.5J+45 YOKOHAMA ヨコハマ アイスガード IG60 215/65R16 215 65 16、ふと利用したいときに気軽に利用できるというのは結構良いのではないかと思います。


モデル

ここでは2つの学習アルゴリズムでdoc2vecを学習しました。dbow300dはdistributed bag of words (PV-DBOW)を、dmpv300dはdistributed memory (PV-DM)を用いています。なお、モデルファイルはサイズが大きいため 17インチ サマータイヤ セット【適応車種:クー(M400系)】WEDS レオニス CH ブラックメタルコートミラーカット 6.5Jx17ヨコハマ エコス ES300 205/40R17、Googleドライブに配置してあります。下記リンク先からダウンロードしてください。

モデルの学習パラメータ

param dbow300d dmpv300d
dm 0 1
vector_size 300 300
window 15 10
alpha 0.025 0.05
min_count 5 2
sample 1e-5 0
epochs 20 20
dbow_words 1 0

dbow300dのパラメータは 、An Empirical Evaluation of doc2vec with Practical Insights into Document Embedding GenerationにおけるEnglish Wikipeiaの学習時のパラメータを利用しました。dmpv300dのパラメータは、Gensim Doc2Vec Tutorial on the IMDB Sentiment Datasetの設定を参考にしました。

実験設定

学習元のコーパスには、2019/01/14時点でのWikipediaの 【Dotty】 LUXUR-SPOLT シートカバー NV100クリッパーリオ (4人乗り)にお勧め! HBD-DR17V系 H27/02→MC迄 品番:9303CirrusSearchのダンプデータを用いました。形態素解析にはMeCabを使用し、辞書には BMW ビーエムダブリュー ディスクローター ブレーキ ディスク F750 GS K80 F850 GS K81 R1200 GS Adventure K51 R1200 GS K50NEologdを用いています。また、doc2vecの計算にはgensimを使用しました。利用したパッケージや辞書のバージョンは以下の通りです。

もしモデルが読み込めない場合には、各種ライブラリを最新のバージョンにするなど試してください。


ソースコード

学習時のソースコードは BERINGER CLASSICフロントディスク ステン R H-D 00- 《ベルリンガー HD6B-R》、以下のリポジトリにあります。

使い方

トヨタ車専用 ホイール4本セット サマータイヤ 17インチ ブランドル プリウス】 YOKOHAMA BRANDLE ブルーアース 215/45R17 M69 RV-02 ヨコハマ 7J 7.00-17 SALE 215/45R17 ヨコハマ 【送料無料

from gensim.models.doc2vec import Doc2Vec
model = Doc2Vec.load("jawiki.doc2vec.dbow300d.model")

類似するドキュメントを表示する

In []: model.docvecs.most_similar("アリストテレス")
Out[]:
[('オルガノン', 0.5950535535812378),
 ('善のイデア', 0.5811843872070312),
 ('スペウシッポス', 0.5756123065948486),
 ('プラトン', 0.5733123421669006),
 ('ジークムント・フロイト', 0.5668295621871948),
 ('カルキディウス', 0.5634585618972778),
 ('アンモニオス・サッカス', 0.5591270923614502),
 ('メリッソス、クセノパネス、ゴルギアスについて', 0.5568180084228516),
 ('ピレボス', 0.5543898940086365),
 ('睡眠と覚醒について', 0.5480767488479614)]

未知の入力文に対する埋め込み表現を得る

model.infer_vector()には分かち書き済みの単語リストを入力する必要があります。そのため 185/55R15 TOYO TIRES トーヨータイヤ OBSERVE GARIT GIZ オブザーブ ガリット ギズ STEINER FORCED SERIES SF-V シュタイナー フォースドシリーズ SF-V スタッドレスタイヤホイール4本セット、ここではMeCabを用いたtokenize()を定義しています。

import MeCab
def tokenize(text):
 wakati = MeCab.Tagger("-O wakati")
 wakati.parse("")
 return wakati.parse(text).strip().split()
In []: text = """バーレーンの首都マナマ(マナーマとも)で現在開催されている
ユネスコ(国際連合教育科学文化機関)の第42回世界遺産委員会は日本の推薦していた
「長崎と天草地方の潜伏キリシタン関連遺産」 (長崎県、熊本県)を30日、
世界遺産に登録することを決定した。文化庁が同日発表した。
日本国内の文化財の世界遺産登録は昨年に登録された福岡県の
「『神宿る島』宗像・沖ノ島と関連遺産群」に次いで18件目。
2013年の「富士山-信仰の対象と芸術の源泉」の文化遺産登録から6年連続となった。"""
In []: model.infer_vector(tokenize(text))
Out[]:
array([-4.52421233e-02, -4.60310102e-01, -7.35630572e-01, 1.16688378e-01,
 1.12721687e-02, 1.63637593e-01, 1.46670029e-01, 6.90088957e-04,
 -1.66465431e-01, -4.73131120e-01, 3.96440744e-01, -3.61171484e-01,
 [...]
 2.84847170e-01, -3.92884701e-01, -2.23438710e-01, 1.59409940e-01],
 dtype=float32) 

(出典:潜伏キリシタン関連遺産、世界遺産登録 - ウィキニュース

任意の入力文に対して類似するドキュメントを表示する

In []: model.docvecs.most_similar([model.infer_vector(tokenize(text))])
Out[]:
[('イタリアの世界遺産', 0.599028468132019),
 ('海の道むなかた館', 0.5562682151794434),
 ('タジキスタンの世界遺産', 0.5554744005203247),
 ('ウクライナの世界遺産', 0.5542891621589661),
 ('バーレーンの世界遺産', 0.552284836769104),
 ('世界遺産センター (曖昧さ回避)', 0.540568470954895),
 ('アラブ首長国連邦の世界遺産', 0.5372575521469116),
 ('アイスランドの世界遺産', 0.5366297960281372),
 ('マレーシアの世界遺産', 0.5362405776977539),
 ('ラトビアの世界遺産', 0.5351229906082153)]

類似する単語を表示する

なお、doc2vecでもword2vecと同様に、任意の単語に対して類似する単語を表示することもできますが、

【送料無料 プリウス】 215/45R17 17インチ BRANDLE ブランドル M69 トヨタ車専用 7J 7.00-17 YOKOHAMA ヨコハマ ブルーアース RV-02 SALE サマータイヤ ホイール4本セット

、単語間の類似度を知りたいだけならword2vecの学習済みモデルである日本語 Wikipedia エンティティベクトルを使った方が良いでしょう。

In []: model.wv.most_similar("一揆", topn=3)
Out[]:
[('百姓一揆', 0.717296302318573),
 ('国人衆', 0.7110892534255981),
 ('国人一揆', 0.7016592025756836)]

ライセンス

CC-BY-SA: 【送料無料】 DUNLOP ダンロップ ウインターマックス 01 WM01 185/60R15 15インチ スタッドレスタイヤ ホイール4本セット BIGWAY B-WIN ゼナート 8(ブラックポリッシュ) 5.5J 5.50-15【DUwin19】 225/45R18 サマータイヤ タイヤホイールセット 【送料無料】 LEONIS WX 18x7.0 47 114.3x5 BMCMC + DUNLOP DIREZZA DZ101 225/45R18 91W (225/45/18 225-45-18) 夏タイヤ 18インチ VOLVO ボルボ 850 2.3L i 20V TURBO (5 Cylinders) GREEN FILTER グリーンフィルター エアフィルター 純正交換タイプCreative Commons Attribution-ShareAlike License


参考

{yahoojp}jpprem01-zenjp40-wl-zd-51908