Update.
authorFrançois Fleuret <francois@fleuret.org>
Wed, 10 Jan 2024 08:43:18 +0000 (09:43 +0100)
committerFrançois Fleuret <francois@fleuret.org>
Wed, 10 Jan 2024 08:43:18 +0000 (09:43 +0100)
main.py
mygpt.py

diff --git a/main.py b/main.py
index 74e1d6c..c51035c 100755 (executable)
--- a/main.py
+++ b/main.py
@@ -117,7 +117,7 @@ parser.add_argument("--deterministic_synthesis", action="store_true", default=Fa
 
 parser.add_argument("--no_checkpoint", action="store_true", default=False)
 
-parser.add_argument("--overwrite_results", action="store_true", default=False)
+parser.add_argument("--continue_training", action="store_true", default=False)
 
 parser.add_argument("--checkpoint_name", type=str, default="checkpoint.pth")
 
@@ -426,7 +426,7 @@ else:
 try:
     os.mkdir(args.result_dir)
 except FileExistsError:
-    if not args.overwrite_results:
+    if not args.continue_training:
         print(f"result directory {args.result_dir} already exists")
         exit(1)
 
index d8fd227..676b921 100755 (executable)
--- a/mygpt.py
+++ b/mygpt.py
@@ -574,6 +574,9 @@ class Caterpillar(nn.Module):
         ######################################################################
 
         if self.training and self.proba_gate_dropout > 0.0:
+            # This is a better implementation of "flashbacks".  A is
+            # NxExT where e is the caterpillar's row.
+
             warnings.warn("gate dropout", RuntimeWarning)
             epsilon = 0.5