Gilbert Padilla nació en 1927 en el campo de trabajo de Hamburgo en Los Baños, condado de Merced, donde su familia pizcaba algodón. Cuando era niño, Padilla trabajó recogiendo algodón en los campos con su padre y ocho hermanos. Como muchos niños en el campo, llevaba un pequeño saco de algodón alrededor de la cintura. Tenía solo seis años durante la gran huelga algodonera de 1933, pero escuchó las historias y absorbió la lección esencial de la organización laboral. La segregación y la discriminación eran comunes y chocantes para él. Aunque los blancos y los mexicanos recogían algodón juntos en las mismas cuadrillas, los mexicanos vivían en un campamento y los blancos en otro en el rancho Hamburgo en Los Baños. Había una escuela primaria para mexicanos y dos para blancos en Azusa. Se segregaba la vivienda, pero también cines y piscinas públicas.

Padilla fue dado de baja del ejército de Estados Unidos en 1947 y, como muchos, su perspectiva cambió cuando trabajó con blancos y fue líder de escuadrón. Entró a trabajar en una tintorería y luego volvió al campo. Conoció a César Chávez en 1955, y cuando Chávez se convirtió en el director nacional de la Organización de Servicios Comunitarios (CSO), asignó a Padilla al centro de servicio de CSO en Stockton. Allí, obtuvo una subvención en 1961 del Comité de Obispos sobre Trabajo Migratorio en Chicago para estudiar las condiciones de vivienda de los trabajadores agrícolas locales.