소스 검색

Change the learning rate decay rate

nagadomi 9 년 전
부모
커밋
8fec6f1b5a
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      train.lua

+ 1 - 1
train.lua

@@ -302,7 +302,7 @@ local function train()
 	 else
 	    lrd_count = lrd_count + 1
 	    if lrd_count > 2 then
-	       adam_config.learningRate = adam_config.learningRate * 0.8
+	       adam_config.learningRate = adam_config.learningRate * 0.874
 	       print("* learning rate decay: " .. adam_config.learningRate)
 	       lrd_count = 0
 	    end