1983 gründet Gitarrist und Sänger Buzz Osborne gemeinsam mit dem zukünftigen Mudhoney-Bassisten Matt Lukin und dem Drummer Mike Dillard in Montesano im US-Bundestaat Washington die Band Melvins als High School-Band. Nachdem man sich erst einmal mit Covern von Hendrix und The Who ausgetobt hat, konzentriert sich das Trio auf superschnellen Hardcore-Punk. 1984 geht Dillard und Dale Crover übernimmt die Drums, an denen er heute noch immer sitzt.
Mit der Zeit halten neben Punkrock-Einflüssen von Black Flag und Co. auch Elemente aus Metal und Hard Rock à la Black Sabbath, KISS und Alice Cooper Einzug ins Klangbild der Melvins. Kurt Cobain war Riesenfan der Band, war aber beim Vorspielen als Gitarrist so nervös, dass er nichts zustandebrachte und den Job nicht bekam.
Mitte der Achtziger legten Melvins mit Bands wie Green River, Skin Yard, Malfunkshun und Soundgarden den Grundstein für jenen Sound, der Anfang der Neunziger als Grunge um die Welt gehen sollte. Melvins blieben der Szene auch später eng verbunden, so half Crover Nirvana das eine oder andere Mal im Studio und später auch live bei einer Tour mit Sonic Youth aus. 1988 siedelten Osborne und Crover nach San Franciso um. Lukin blieb in Washington und gründete die Band Mudhoney. 1990 vermittelte Osborne Dave Grohl an Nirvana.
1991 gingen Melvins auf Europatournee, in den Folgejahren tourten sie mit Nirvana, den Nine Inch Nails, Rob Zombie, KISS und vielen anderen Größen. 1997 wurde die Band, deren Sound alles andere als massentauglich ist, von ihrem damaligen Label Atlantic fallengelassen, 1999 landeten Melvins auf Mike Pattons Label Icepac Recordings. Nach vielen Besetzungswechseln am Bass ist seit 2016 Steven McDonald eine Konstante am Viersaiter.
Der Sound der Melvins liegt irgendwo zwischen Grunge, Noise, Doom Metal und Stoner Rock, und die Band hat zwar alle diese Musikrichtungen beeinflusst, jedoch lassen sie sich nicht einem dieser Genres zuordnen.