README.txt

   1 18.10.2023
   2
   3 ./main.py --task=qmlp --model=352M --nb_train_samples=250000 --result_dir=results_qmlp_352M --batch_size=2
   4
   5 ~11h per epoch on 3090 Ti
   6
   7 ======================================================================
   8 For the stack experiment:
   9
  10 ./main.py --task=stack
  11
  12 Takes ~1h10min on a 4090.
  13
  14 ======================================================================
  15 For the arithmetic expressions experiments
  16
  17 # 38M parameters / 250k samples
  18
  19 ./main.py --task=expr
  20
  21 # 352M parameters / 2.5M samples, reaches 99.80% after 12 epochs, the
  22   learning rate schedule is obviously terrible
  23
  24 ./main.py --task=expr --nb_blocks=48 --dim_model=1024 --nb_train_samples=2500000 --result_dir=results_expr_48b_d1024_2.5M
  25 ======================================================================
  26 25.07.2023
  27
  28 ./main.py --task=sandbox --nb_train_samples=10000 --nb_test_samples=1000 --nb_blocks=4 --nb_heads=1 --nb_epochs=20