AnyTrading - FXトレードを強化学習で実行⑤

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

学習アルゴリズムを変更

今回は学習アルゴリズムを PPO2 から ACKTR に変更してみます。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
#from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(30, 5000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(5000, 10000-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info)
break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

8行目 でACKTRをインポートし、29行目 で学習アルゴリズムを PPO2 から ACKTR に変更しています。

学習アルゴリズムを変更してFXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': -256.39999999998776, 'total_profit': 0.9690349314983275, 'position': 0}

実行結果


PPO2の結果と比較すると、ACKTRのFX売買結果は次のように変化しました。

  • 累積報酬(total_reward)
    359.6 → -256.3
  • 純利益(total_profit)
    0.94 → 0.969

累積報酬はかなり悪化し、純利益はややあがりました。

売買手法も買い(緑の丸)より、売り(赤の丸)の状態がほとんどで売買ロジックが全く違うことを見てとれます。

AnyTrading - FXトレードを強化学習で実行④

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

学習回数を変更

前回はデータ範囲を変えてみましたが今回は、学習回数を2倍に変えてみます。

その他の条件は前回同様です。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(30, 5000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000 * 2)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(5000, 10000-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info)
break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

34行目 で学習回数を2倍に変更しています。

学習回数を変更してFXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': 156.3000000000536, 'total_profit': 0.9316893368425513, 'position': 1}

実行結果


前回の結果と比較すると、FX売買結果は次のように変化しました。

  • 累積報酬(total_reward)
    359.6 → 156.3
  • 純利益(total_profit)
    0.94 → 0.93

累積報酬が半分以下となり、純利益はほとんど変わりませんでした。

学習回数を3倍、4倍に変更してみても成績はよくなりませんでした。

必要以上に学習回数を増やしても、意味がないようです。

AnyTrading - FXトレードを強化学習で実行③

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

前回ご紹介した強化学習FX売買の条件を変えて実行してみます。

データの範囲を変更

前回はデータ範囲が、訓練データと検証データともに (50, 1000) でしたが、今回は訓練データ範囲を (30, 5000) 、検証データ範囲を (5000, 10000-30) としてみました。

データ量を約5倍にし、訓練データと検証データの範囲を分けた場合に、どのように成績が変化するのかを確認するのが目的です。

学習アルゴリズムや学習回数は前回同様です。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(30, 5000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(5000, 10000-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info)
break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

16行目 で訓練データの範囲を変更し、40行目 で検証データの範囲を変更しています。

データ範囲を変更してFXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
{'total_reward': 359.60000000002213, 'total_profit': 0.9436579094404297, 'position': 1}

実行結果


前回の結果と比較すると、FX売買結果は次のように変化しました。

  • 累積報酬(total_reward)
    -100 → 359.6
  • 純利益(total_profit)
    0.92 → 0.94

累積報酬がかなり向上しましたが、純利益はほとんど変わりませんでした。

AnyTradingのソースを確認したところ、投資費用としてユニットごとに 0.0003 が差し引かれたものが純利益として計算されるようです。

AnyTrading - FXトレードを強化学習で実行②

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

前回はランダムでのFX売買を行いましたが、今回は学習してからFX売買を行ってみます。学習アルゴリズムは PPO2 を使います。

強化学習を行うコード

強化学習アルゴリズム PPO2 を使ってFX売買を実行するサンプルコードは次のようになります。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(50, 1000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(50, 1000), window_size=30)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info)
break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

27行目で学習アルゴリズムPPO2を設定しています。

また、34行目で学習ステップ数を128000に設定し、45行目で学習済みモデルで次のアクションを決定しています。

PPO2で学習したモデルを使ってFXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': -100.099999999994, 'total_profit': 0.9259919709534984, 'position': 1}

実行結果


前回のランダム実行と比べると、今回の強化学習によるFX売買結果は次のようになりました。

  • 累積報酬(total_reward)
    -76 → -100
  • 純利益(total_profit)
    0.98 → 0.92

ランダム実行より成績が落ちてしまいました。(;^_^A

ここからいろいろパラメータを変えて、成績の改善を目指していきます。

AnyTrading - FXトレードを強化学習で実行①

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

パラメータやFXデータをいろいろと変えて、どこまで成績をあげていけるかを検証していきたいと思います。

今回は、AnyTrading をインストールし、ランダムでのFX売買を行い、その結果を確認してみます。

AnyTradingのインストール

AnyTradingの環境は下記のコマンドでインストールすることができます。

[コマンド]

1
pip install gym-anytrading

ランダム実行を行うコード

ランダム実行を行うコードは次の通りです。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common import set_global_seeds

# 環境を作成する
env = gym.make('forex-v0', frame_bound=(50, 100), window_size=10)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ランダム行動による動作確認
state = env.reset()
while True:
# 行動の取得
action = env.action_space.sample()
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info)
break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()

9行目のgym.makeのパラメータの意味は次の通りです。

  • env(Env型)
    環境名。
  • df(DataFrame型)
    独自のデータセット。
  • window_size(int型)
    直近何フレームの情報を状態として利用するか。
  • frame_bound(tuple型)
    データセット内の訓練範囲を開始行数と終了行数で指定。
  • unit_side(str型)
    FXの取引を開始する側(ユーロ/ドルの場合は「left」でユーロ、「right」でドルを指定)。

ランダム実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': -76.1999999999996, 'total_profit': 0.9860980554685419, 'position': 0}

実行結果


ランダム実行なので、結果は都度変わりますが今回は、累積報酬(total_reward)が -76 で、純利益(total_profit)が 0.98 となりました。

次回は学習してから、トレードを行うコードを試します。

Python AnyTrading - 投資の強化学習環境を試す② 学習編

FXのトレードを学習させて、利益総額が増えるかどうかを確認します。

インストール

Windowsで実行する場合、Microsoft MPIをインストールする必要があります。

Microsoft MPI - https://www.microsoft.com/en-us/download/details.aspx?id=100593

さらに下記のコマンドを実行し学習のための環境を準備します。

1
2
3
4
pip install stable-baselines[mpi]
pip install tensorflow==1.14.0
pip install pyqt5
pip install imageio

学習投資

FXトレードを学習してから投資を行う処理を実装します。

[コード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
import gym
import gym_anytrading
import matplotlib.pyplot as plt
import os
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common import set_global_seeds

from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines.bench import Monitor

# ログフォルダの作成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境を生成(frame_boundはデータセット内の訓練範囲を開始行数と終了行数で指定)
env = gym.make('forex-v0', frame_bound=(50, 100), window_size=10)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)

# モデルの読み込み(学習済みデータがある場合)
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(50, 100), window_size=10)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info)
break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

実行結果は下記のとおりです。

[実行結果]

info: {'total_reward': 76.70000000000952, 'total_profit': 0.993213633946179, 'position': 1}

累計報酬(total_reward)、純利益(total_profit)、ポジション(position:0がショート、1がロング)が表示されます。

ランダムの時と比べてあまり結果がよくなりませんでした・・・というよりむしろ成績が落ちていて、もう少し理解を深める必要がありそうです。

グラフに表示される結果は以下の通りです。

結果

赤●が「0:Sell」で落ちる予想、緑●が「1:Buy」で上がる予想を表します。

Python AnyTrading - 投資の強化学習環境を試す①

AnyTradingは、FXや株式のトレーディングアルゴリズムを試すための強化学習環境です

インストール

下記のコマンドを実行しAnyTradingの実行環境をインストールします。

1
2
3
pip install gym-anytrading
pip install stable-baselines
pip install tensorflow==1.14.0

ランダム投資

ランダムに投資を行う処理を実装します。

[コード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
import gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common import set_global_seeds

# 環境を生成(frame_boundはデータセット内の訓練範囲を開始行数と終了行数で指定)
env = gym.make('forex-v0', frame_bound=(50, 100), window_size=10)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ランダム行動による動作確認
state = env.reset()
while True:
action = env.action_space.sample()

# 1ステップ実行
state, reward, done, info = env.step(action)

# エピソード完了
if done:
print('info:', info)
break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

実行結果は下記のとおりです。

[実行結果]

info: {'total_reward': 85.50000000000279, 'total_profit': 0.9914207128440394, 'position': 0}

累計報酬(total_reward)、純利益(total_profit)、ポジション(position:0がショート、1がロング)が表示されます。
ランダムの割には利益が上がっています。

また下記のようなグラフが表示されます。

結果

赤●が「0:Sell」で落ちる予想、緑●が「1:Buy」で上がる予想を表します。


Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×