1970 in Berkeley gegründet, spielen The Rubinoos zunächst bei High School-Tanzveranstaltungen. Wie viele Bands jener Generation fangen sie mit Coversongs an, darunter Gassenhauer und Oldies von Chubby Checker, The Troggs oder Bill Haley.
Nur ein Jahr nach der Gründung beginnt Gitarrist Tommy Dunbar, beeinflusst vom Erfolg der Band Earth Quake seines großen Bruders Robbie, eigene Songs zu schreiben und gemeinsam mit Sänger Jon Rubin zu entwickeln. Die Band sammelt ihre ersten Lorbeeren bei Auftritten. Mit einer Studioaufnahme lassen sie sich ganze sieben Jahre Zeit. Mit ihrem gleichnamigen 77er-Debütalbum feiern sie erste Erfolge in den Top 50, und mit dem zweiten Album werden sie sogar nach Europa eingeladen, um in Fernsehshows wie dem "The Old Grey Whistle Test" oder Rockpalast aufzutreten. 1979 gehen sie als Support-Band auf Tour mit Elvis Costello.
Von den Gründungsmitgliedern sind zu diesem Zeitpunkt nur Sänger Jon Rubin und Songschreiber und Gitarrist Tommy Dunbar übrig. Von 1985 bis 1990 nimmt sich die Gruppe eine Auszeit, und die einzelnen Mitglieder treten in anderen Formationen auf. Seit den Neunzigern touren The Rubinoos wieder sporadisch zusammen. Für Aufsehen sorgt 2007 eine gerichtliche Auseinandersetzung mit der kanadischen Sängerin Avril Lavigne, als Dunbar und sein Co-Autor ihr vorwerfen, Lavignes Song "Girlfriend" sei ein Plagiat des Rubinoos-Songs "I Wanna Be Your Boyfriend". Die beiden Parteien einigten sich ein Jahr später außergerichtlich.
