sequence_generator.cc

   1
   2 /*
   3  *  dyncnn is a deep-learning algorithm for the prediction of
   4  *  interacting object dynamics
   5  *
   6  *  Copyright (c) 2016 Idiap Research Institute, http://www.idiap.ch/
   7  *  Written by Francois Fleuret <francois.fleuret@idiap.ch>
   8  *
   9  *  This file is part of dyncnn.
  10  *
  11  *  dyncnn is free software: you can redistribute it and/or modify it
  12  *  under the terms of the GNU General Public License version 3 as
  13  *  published by the Free Software Foundation.
  14  *
  15  *  dyncnn is distributed in the hope that it will be useful, but
  16  *  WITHOUT ANY WARRANTY; without even the implied warranty of
  17  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  18  *  General Public License for more details.
  19  *
  20  *  You should have received a copy of the GNU General Public License
  21  *  along with dyncnn.  If not, see <http://www.gnu.org/licenses/>.
  22  *
  23  */
  24
  25 #include <iostream>
  26 #include <fstream>
  27 #include <cmath>
  28 #include <stdio.h>
  29 #include <stdlib.h>
  30 #include <stdint.h>
  31 #include <errno.h>
  32 #include <string.h>
  33 #include <sys/stat.h>
  34 #include <sys/time.h>
  35
  36 using namespace std;
  37
  38 #include "misc.h"
  39 #include "universe.h"
  40 #include "canvas_cairo.h"
  41
  42 //////////////////////////////////////////////////////////////////////
  43
  44 void draw_universe_on_canvas(CanvasCairo *canvas, scalar_t scaling,
  45                              Universe *universe) {
  46   canvas->set_line_width(1.0 / scaling);
  47   universe->draw(canvas);
  48 }
  49
  50 void draw_grabbing_point_on_canvas(CanvasCairo *canvas, scalar_t scaling,
  51                                    scalar_t xg, scalar_t yg,
  52                                    scalar_t r, scalar_t g, scalar_t b) {
  53   scalar_t radius = 1/scaling;
  54   int n = 36;
  55   scalar_t xp[n], yp[n];
  56   for(int k = 0; k < n; k++) {
  57     scalar_t alpha = 2 * M_PI * scalar_t(k) / scalar_t(n);
  58     xp[k] = xg + radius * cos(alpha);
  59     yp[k] = yg + radius * sin(alpha);
  60   }
  61   canvas->set_drawing_color(r, g, b);
  62   canvas->set_line_width(2.0);
  63   canvas->draw_polygon(1, n, xp, yp);
  64 }
  65
  66 //////////////////////////////////////////////////////////////////////
  67
  68 extern "C" void fl_generate_sequence(int nb_images,
  69                                      int width, int height,
  70                                      int nb_shapes,
  71                                      int random_shape_size, int random_colors,
  72                                      unsigned char *output) {
  73
  74   const scalar_t super_definition = 8;
  75   const scalar_t world_width = width * super_definition;
  76   const scalar_t world_height = height * super_definition;
  77   const scalar_t scaling = 1 / super_definition;
  78
  79   const scalar_t dt = 0.1;
  80   const int nb_iterations_per_steps = 5;
  81
  82   //////////////////////////////////////////////////////////////////////
  83
  84   // We will generate images { 0, every_nth, 2 * every_nth, ..., k * every_nth < nb_simulated_frames }
  85
  86   // The framerate every_nth may be set to smaller value to generate
  87   // nice materials for presentations or papers.
  88
  89   int every_nth = 16;
  90   int nb_simulated_frames = 1 + (nb_images - 1) * every_nth;
  91   int random_grasp = 1;
  92
  93   Universe *universe;
  94   Polygon *grabbed_polygon;
  95
  96   universe = new Universe(nb_shapes, world_width, world_height);
  97
  98   const int nb_saved_frames = (nb_simulated_frames + every_nth - 1) / every_nth;
  99   if(nb_saved_frames != nb_images) {
 100     cerr << "It makes no sense." << endl;
 101     abort();
 102   }
 103
 104   CanvasCairo *canvases[nb_saved_frames * 2];
 105
 106   for(int s = 0; s < 2 * nb_saved_frames; s++) {
 107     canvases[s] = new CanvasCairo(scaling, universe->width(), universe->height());
 108   }
 109
 110   scalar_t grab_start_x, grab_start_y;
 111
 112   int failed;
 113
 114   int total_nb_attempts = 0;
 115   const int max_total_nb_attempts = 1000000;
 116
 117   do {
 118     if(random_grasp) {
 119       grab_start_x = world_width * (0.1 + 0.8 * drand48());
 120       grab_start_y = world_height * (0.1 + 0.8 * drand48());
 121     } else {
 122       grab_start_x = world_width * 0.5;
 123       grab_start_y = world_height * 0.75;
 124     }
 125
 126     do {
 127       universe->clear();
 128
 129       const int nb_attempts_max = 100;
 130       int nb_attempts = 0;
 131
 132       for(int u = 0; u < nb_shapes; u++) {
 133         Polygon *pol = 0;
 134
 135         nb_attempts = 0;
 136
 137         scalar_t shape_size;
 138
 139         if(random_shape_size) {
 140           shape_size = 40 + 80 * drand48();
 141         } else {
 142           shape_size = 80;
 143         }
 144
 145         scalar_t red, green, blue;
 146
 147         if(random_colors) {
 148           do {
 149             red = drand48();
 150             green = drand48();
 151             blue = drand48();
 152           } while(red < 0.9 and green < 0.9 and blue < 0.9 and
 153                   red > 0.1 and green > 0.1 and blue > 0.1);
 154         } else {
 155           red = 1.0;
 156           green = 1.0;
 157           blue = 1.0;
 158         }
 159
 160         do {
 161           scalar_t x[] = { - shape_size * 0.4, + shape_size * 0.4,
 162                            + shape_size * 0.4, - shape_size * 0.4 };
 163
 164           scalar_t y[] = { - shape_size * 0.6, - shape_size * 0.6,
 165                            + shape_size * 0.6, + shape_size * 0.6 };
 166
 167           scalar_t object_center_x = world_width * drand48();
 168           scalar_t object_center_y = world_height * drand48();
 169
 170           delete pol;
 171           pol = new Polygon(0.5, red, green, blue, x, y, sizeof(x) / sizeof(scalar_t));
 172           pol->set_position(object_center_x, object_center_y, M_PI * 2 * drand48());
 173           pol->set_speed(0, 0, 0);
 174
 175           universe->initialize_polygon(pol);
 176
 177           nb_attempts++;
 178         } while(nb_attempts < nb_attempts_max &&
 179                 (universe->collide(pol) || universe->collide_with_borders(pol, 2.0 / scaling)));
 180
 181         if(nb_attempts == nb_attempts_max) {
 182           delete pol;
 183           u = -1;
 184           universe->clear();
 185           nb_attempts = 0;
 186         } else {
 187           universe->add_polygon(pol);
 188         }
 189       }
 190
 191       grabbed_polygon = universe->pick_polygon(grab_start_x, grab_start_y);
 192
 193     } while(!grabbed_polygon);
 194
 195     failed = 0;
 196
 197     scalar_t grab_relative_x = grabbed_polygon->relative_x(grab_start_x, grab_start_y);
 198     scalar_t grab_relative_y = grabbed_polygon->relative_y(grab_start_x, grab_start_y);
 199
 200     for(int s = 0; !failed && s < nb_simulated_frames; s++) {
 201       if(s % every_nth == 0) {
 202         int t = s / every_nth;
 203         // scalar_t xf = grabbed_polygon->absolute_x(grab_relative_x, grab_relative_y);
 204         // scalar_t yf = grabbed_polygon->absolute_y(grab_relative_x, grab_relative_y);
 205
 206         // canvases[2 * t + 0]->clear();
 207         // draw_grabbing_point_on_canvas(canvases[2 * t + 0], scaling,
 208         // xf, yf, 0.0, 0.0, 0.0);
 209         // canvases[2 * t + 1]->clear();
 210         // draw_universe_on_canvas(canvases[2 * t + 1], scaling, universe);
 211
 212         canvases[t]->clear();
 213         draw_universe_on_canvas(canvases[t], scaling, universe);
 214
 215         // if(show_grabbing_point) {
 216         // draw_grabbing_point_on_canvas(canvases[2 * t + 1], scaling,
 217         // xf, yf, 1.0, 0.0, 0.0);
 218         // }
 219       }
 220
 221       if(s < nb_simulated_frames - 1) {
 222         // Run the simulation
 223         for(int i = 0; i < nb_iterations_per_steps; i++) {
 224           scalar_t xf = grabbed_polygon->absolute_x(grab_relative_x, grab_relative_y);
 225           scalar_t yf = grabbed_polygon->absolute_y(grab_relative_x, grab_relative_y);
 226           if (xf < 0 || xf >= world_width || yf < 0 || yf >= world_height) {
 227             failed = 1;
 228           }
 229           grabbed_polygon->apply_force(dt, xf, yf, 0.0, -1.0);
 230           universe->update(dt, 1.0 / scaling);
 231         }
 232       }
 233     }
 234
 235     total_nb_attempts++;
 236
 237     if(total_nb_attempts >= max_total_nb_attempts) {
 238       cerr << "There was " << max_total_nb_attempts << " attempts at generating the sequences." << endl;
 239       abort();
 240     }
 241
 242   } while(failed);
 243
 244   for(int t = 0; t < nb_images; t++) {
 245     unsigned char *src = canvases[t]->_data;
 246     unsigned char *dst = output + t * width * height * 3;
 247     for(int d = 0; d < 3; d++) {
 248       for(int y = 0; y < height; y++) {
 249         for(int x = 0; x < width; x++) {
 250           dst[x + width * (y + height * d)] = src[d + 4 * (x + width * y)];
 251         }
 252       }
 253     }
 254   }
 255
 256   for(int t = 0; t < 2 * nb_saved_frames; t++) {
 257     delete canvases[t];
 258   }
 259
 260   delete universe;
 261 }