【tensorflowメモ】tf.app.flags

python実行ファイルにコマンドラインオプションを設定するためのモジュール。 #tf_app_flags.py import tensorflow as tf #定義 myflags = tf.app.flags.FLAGS #tf.app.flags.FLAGS.'型'('引数名', '初期値', '説明') tf.app.flags.DEFINE_integer("int", 0,…

2018-10-05

単純パーセプトロンとロジスティック回帰

技術メモニューラルネットワーク

両方とも、2値分類に用いられるニューラルネットワーク。単純パーセプトロン出力が0か1 活性化関数にステップ関数を用いる 0か1やと極端やなあ…確率出力すればえーんやない？ ↓↓↓↓↓↓↓↓↓↓ ロジスティック回帰出力が0~1の確率活性化関数にシグモイド関数を…

2018-10-04

スケーリング

技術メモ

意味数値を特定の範囲内におさめるために施す処理。またそのための定数をスケール因子（スケーリング因子）と呼ぶ。例 0~1000の値Aを0~50の値Bにスケーリングする。 20がスケール因子に相当する。上のように、単純に大きすぎる値を小さい範囲に収めたい…

2018-10-04

加重和

技術メモ

意味ベクトルVと重み付けベクトルWにおいてVとWの内積をとること。登場文献論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ Dot-Product Attention(内積アテンション)においては、 softmax(QKT)が重みに相当し、これにvalu…

2018-10-03

Attention is all you need(Transformer)のお勉強

nmt

deeplearning.hatenablog.com りょぼっと様が解説記事を書いてくださってるのでそれで勉強。ここには読んでいて難しかったところ（ほぼ全て）の解説（個人的解釈）を記事に沿って示します。浅学なもんで厳密には間違ってるってところがたくさんあると思い…

2018-09-24

Quick-Thought使ってみたい

sentence embeddings

Quick-Thoughtとは 2018年に登場した文の分散表現獲得手法の一つ。 Skip-Thought(2015)が「前後の文を予測して生成する」モデルなのに対し、 Quick-Thoughtは「次の文を文グループから選んで当てる」モデル。「生成する」タスクより「選択する」タスクの方…

2018-09-11

MeCabで文章を分かち書き

python

実装①単純な形態素解析 import MeCab m = MeCab.Tagger() print m.parse(text) 実装②必要な品詞のみ抽出 ''' 文や文章を渡すと、MeCabで必要な品詞だけ抽出する関数。 ''' def getTokenlistFromline(text,hinshi): token_list = [] m = MeCab.Tagger('-Ochas…