La chiesa comunemente denominata "Oratorio di San Carlo" è in realtà intitolata ai Santi Sebastiano e Carlo e sorge in una della vie più antiche della città, là dove l'odierna via Carlo Varese incrocia via Padre Michele da Carbonara.
La costruzione dell'oratorio fu voluta dalla "Confraternita dei Ss. Sebastiano e Rocco", sorta nella prima metà del Cinquecento presso la vicina chiesa di San Matteo e aggregata all'arciconfraternita di Santa Maria del Gonfalone di Roma nel 1581. A causa di contrasti insorti con i Canonici Lateranensi che reggevano San Matteo nel 1622 i confratelli ottennero dal Vescovo Paolo Arese l'autorizzazione a erigere un loro oratorio. Dato che a Tortona esisteva già un oratorio dedicato a San Rocco, la nuova costruzione venne intitolata ai Santi Sebastiano e Carlo.
I lavori, iniziati nel 1623, si conclusero due anni dopo e nel 1625 edificio venne solennemente consacrato.
Gli anni successivi videro una serie di interventi che diedero all'oratorio la forma attuale.
La facciata a capanna nel 1910, in occasione del terzo centenario della canonizzazione di San Carlo, venne arricchita dagli affreschi del pittore tortonese Pietro Mietta, dei quali oggi si legge solo la scena centrale con San Carlo che comunica gli appestati.
Particolarmente pregevole è il portale settecentesco: sull'anta centrale, entro un medaglione, è raffigurato San Carlo inginocchiato in preghiera e, al di sotto, la croce greca a terminazioni semilunate, insegna della Confraternita.
Nell'interno, ad aula con abside semicircolare, si possono ammirare alcune opere interessanti: sull'altare di sinistra è conservata la statua lignea processionale dell'Assunta, realizzata nel 1851-52 da Luigi Montecucco di Gavi Ligure. Divide l'aula dalla zona presbiteriale, una bella balaustra intarsiata in marmi policromi realizzata tra il 1757 e il 1758 dalla famiglia lombarda dei De Giudici, gli stessi che scolpirono anche la balaustra dell'oratorio di San Rocco.
Il coro, in legno di noce, è databile alla fine del Settecento; il seggio centrale è ornato superiormente da un fastigio con la croce della Confraternita. Al di sopra si può ammirare una pala raffigurante la Madonna in trono col Bambino tra i Santi Sebastiano e Rocco: fu dipinta tra il 1577 e il 1579 dal pittore Cortonese Scipione Crespi, per l'altare che la Confraternita aveva nella chiesa di San Matteo; quando i confratelli si spostarono nel loro nuovo oratorio portarono con sé anche questa tavola che, per essere inserita nella cornice in stucco seicentesca, venne modificata nella parte superiore. Tornando nell'aula, sulla parete laterale destra è un dipinto raffigurante il transito di San Giuseppe, opera di scuola lombarda della fine del sec. XVIII.