Update.
[culture.git] / README.txt
index d5cf6d8..b34b5ea 100644 (file)
@@ -1,4 +1,6 @@
 
 
+[This file may describe an older version than the current code]
+
 Trying to make GPTs build their own "culture".
 
 Francois Fleuret
 Trying to make GPTs build their own "culture".
 
 Francois Fleuret
@@ -23,9 +25,10 @@ be solved but not by everybody.
 
 There are 5 competing GPTs.
 
 
 There are 5 competing GPTs.
 
-The "world" is a 7x9 grid with three "birds" moving in a straight line
+The "world" is a 6x8 grid with three "birds" moving in a straight line
 and bouncing on the world's borders. It could be another "world", but
 and bouncing on the world's borders. It could be another "world", but
-this one has objectness and motion.
+this one has objectness and motion. There are ten colors and 4
+directions of motions, so roughly (6x8x4x10)**3 ~ 7e9 states.
 
 Given a random world state, and the state after two iterations of
 birds moving, a "quiz" is to predict the second frame, given the
 
 Given a random world state, and the state after two iterations of
 birds moving, a "quiz" is to predict the second frame, given the
@@ -38,15 +41,15 @@ My home-baked GPT-37M trained with 250k solves this with ~99% success
 At every iteration, we select the GPT with the lowest test accuracy,
 and run one epoch.
 
 At every iteration, we select the GPT with the lowest test accuracy,
 and run one epoch.
 
+* Creating new quizzes
+
 If its test accuracy got higher than 97.5%, it will create new
 quizzes. To do so, it generates a large number of pairs of frames, and
 checks which ones of these quizzes are hard but not too hard, which
 If its test accuracy got higher than 97.5%, it will create new
 quizzes. To do so, it generates a large number of pairs of frames, and
 checks which ones of these quizzes are hard but not too hard, which
-means
-
-[THIS IS THE IMPORTANT BIT]:
+means [THIS IS THE IMPORTANT BIT]:
 
 
-it can be solved, in both time directions, by all the other GPTs **but
-one**
+  it can be solved, in both time directions, by all the other GPTs
+  **but one**
 
 The both time directions is to avoid a simple type of quizzes which is
 simply to deal with noise in the first frame.
 
 The both time directions is to avoid a simple type of quizzes which is
 simply to deal with noise in the first frame.