1809 machte er sich selbständig und führte richtungsweisende Neuerungen ein. So stellte er den Hopfenhandel auf die Grundlage eines Großhandelunternehmens, achtete aber stets auf die Gemeinnützigkeit. Er veröffentlichte seine volkswirtschaftlichen Gedanken in einer Reihe von Schriften. Nach Einführung der Selbstverwaltung in Nürnberg 1818 stellte er sein organisatorisches Talent in den Dienst der Stadt: er wurde Magistratsrat.

Schon vier Jahre später bemühte er sich als 2. Bürgermeister, die mageren Finanzen der Stadt auf eine gesunde Grundlage zu stellen. Außerdem veranlasste er Neuerungen im Straßenbau und in der Wasserversorgung. 1821 gründete er die Stadtsparkasse. Entscheidend beeinflusste er den Ausbau des frühen Nürnberger Volks- und Realschulwesens und gründete eine Höhere Töchterschule. Auf seine Tatkraft ist auch die Gründung einer polytechnischen Schule erfolgt, aus der die heutige Simon-Ohm-Fachhochschule hervorging, eine weithin bekannte und anerkannte Ausbildungsstätte für höhere technische Berufe. Auch auf kulturellem Gebiet erwarb er sich große Verdienste. So veranlasste er die Restaurierung des großen Rathaussaales und der Jakobskirche. Auf seinen Rat hin erwarb die Stadt das Dürerhaus und richtete in der Moritzkapelle eine Gemäldesammlung ein. Leider konnte er sein erfolgreiches Wirken für unsere Stadt nicht mehr als Bürgermeister fortsetzen, weil wenig einsichtige Kreise der Bürger seine Wiederwahl 1829 verhinderten. Sie befürchteten eine Verschuldung der Stadt, weil Scharrer die notwendigen öffentlichen Bauten und Investitionen durch Aufnahme von Darlehen finanzieren wollte. Johannes Scharrer grollte den Nürnbergern nicht, sondern suchte sich neue Betätigungsfelder.