Sì esatto, compreso i file (quei driver sono quelli che ha W10 di default, e danno problemi).
Poi stacchi il telefono (in fastboot) e lo riattacchi, a quel punto dovresti fare un'installazione manuale dando il percorso dei driver di ADB Google che hai scaricato.
Esistono anche utility per la gestione dei driver, da riga di comando "pnputil /e" te li elenca, indicandoti anche i file .inf relativi, oppure Driver Store Explorer (che è una sua GUI)
https://github.com/lostindark/DriverStoreExplorer/releases
Dove prendere i driver buoni non te lo so dire, scaricarsi tutto il pacchetto SDK di Google (1,6 GB di roba) non mi sembra il caso, magari cercati una versione recente dei "Minimal ADB and Fasboot" oppure aspetta un aiuto (l'ultima versione sarebbe credo la 9.0.0.0)
Fatto sta che W10 usa driver con firma e questo potrebbe essere un ostacolo in più...
Edit: qua i driver http://forum.xda-developers.com/showthread.php?p=42407269