Els músics de la ciutat van connèixer el jove Bishop -que va caure en gràcia a la majoria- i el van acceptar amb rapidesa i el van ensenyar a tocar la guitarra. Elvin es va convertir en un guitarrista innovador i va tenir l'oportunitat de participar en jams amb bluesmen com ara Buddy Guy o Otis Rush. En aquella època, Elvin va ser reclutat com a segon guitarrista a les files de l'All Star Band, amb Michael Bloomfield, condició que li va permetre començar a trepitjar els escenaris.
La Paul Butterfield Blues Band, es va formar el 1963, i va ser capaç d'introduir el Blues a les audiencies de Rock. Durant tota la dècada dels 60, Bishop va formar part d'aquesta banda, on es mesclava el Blues de Chicago amb el Rock experimental. Va ser a finals de la dècada dels 60 quan Elvin Bishop va decidir instal.lar-se a l'àrea de San Francisco. Es va convertir en un habitual de les famoses Jam Sessions del Filmero Club, tocant al costat de Jimmy Hendrix, Eric Clapton o B.B. King. Va enregistrar per Filmore Records, desprès per Epic, i més tard per Capricorn Records.
Els fans de Bishop van anar creixent a poc a poc durant les dècades dels 60 i 70. Va ser a finals dels 80 quan Elvin va tornar a les seves arrels musicals, firmant per Alligator Records i editant el seu àlbum Big Fun, que va tenir molt bona acollida, tant pel públic aficionat com per la crítica. L'any 1991 va enregistrar Don't let the bossman get you down, àlbum que li va permetre formar part del tour amb motiu del 20è aniversari del segell Alligator. Aquest tour va ser nominat als Grammy.
La seva forma explosiva de tocar la guitarra comparteix protagonisme amb les seves composicions i les seves lletres, de fàcil cantarella. Aquest estil, que acostuma a matisar amb les seccions de vents, resulta agradable tant pels seguidors més antics del Blues com pels més joves i menys familiaritzats. Bishop és un mestre que aconsegueix que le seves composicions arribin a tocar la fibra de tots aquells que l'escolten.