La Pinacoteca trae origine dall'esigenza di salvaguardare le opere raccolte dal Comune che, dopo la soppressione di molti enti religiosi a seguito del decreto del 7 luglio 1866, passarono alle amministrazioni comunali per essere poi destinate al pubblico godimento. La raccolta venne collocata in alcuni ambienti della Residenza Comunale dove rimase fino al 1974, anno dell'inaugurazione della nuova sede, il Palazzo Tacchi Venturi, costruzione del XV secolo che incorpora una antica torre di vedetta. Dedicata a Padre Tacchi Venturi, noto studioso sanseverinate di storia delle religioni i cui eredi donarono alla città gran parte del Palazzo dove attualmente è allestita, la Pinacoteca comprende, tra l'altro, i polittici di Vittore Crivelli (1440 - 1502), Niccolò Alunno (c. 1430 - 1502) e Paolo Veneziano, l'altarolo di Lorenzo Salimbeni (not. 1374) alcuni dipinti di Lorenzo d'Alessandro (not. 1462 - m. 1503) ed opere concesse dalla Curia Vescovile che ne conserva la proprietà. Tra queste un Cristo deposto del XIII secolo, la Madonna della Pace del Pinturicchio (c. 1454 - 1513) e la Madonna del Soccorso di Bernardino di Mariotto. Di grande interesse sono gli affreschi provenienti da chiese urbane ed extraurbane, alcuni del XIV secolo, che assieme alle opere dei fratelli Salimbeni di San Severino, Lorenzo e Jacopo, costituiscono una vera antologia della pittura sanseverinate tardogotica. 

Con il progetto “Il Museo di tutti e per tutti” sono stati realizzati un percorso tattile sensoriale, il rilievo in resina di un particolare della Madonna della Pace di Pinturicchio, schede di sala in braille ed il catalogo con disegni a rilievo e testi in braille dedicato ai fratelli Salimbeni, Lorenzo e Jacopo, protagonisti di quel rinnovamento linguistico in senso internazionale del Quattrocento marchigiano. Inoltre, è in attivazione il servizio di visita guidata con interprete LIS (a pagamento).