A Biblioteca, como parte integrante do AGCRJ, existe como um serviço subordinado à Gerência de Pesquisa. Seu nome é uma homenagem ao historiador Oswaldo Porto Rocha, autor do primeiro livro publicado pela Biblioteca Carioca - coleção criada em 1986, pelo Departamento de Documentação e Informação Cultural da Secretaria Municipal de Cultura -, intitulado "A era das demolições: habitações populares", um dos mais importantes livros que surgiram no âmbito da retomada dos estudos sobre o Rio de Janeiro, anteriormente elaborado, principalmente, pelos cronistas do século XIX e início do XX.
A Biblioteca tem como competência e atribuição: preservar a memória documental da cidade do Rio de Janeiro; dar função social ao acervo, garantindo o pleno acesso ao patrimônio documental custodiado; promover a aquisição de documentos, fontes primárias ou secundárias de comprovado interesse sociocultural.
Como uma biblioteca pública especializada em História da Cidade do Rio de Janeiro, possui um acervo diversificado, composto por cerca de 45.519 itens, sendo 23.565 exemplares de livros, e 21.954 fascículos de periódicos armazenados em sua hemeroteca. Uma grande parte desse acervo, oriundo do Archivo Municipal, foi adquirida por doação, e outra menor por compra e permuta. Constam obras relacionadas à História do Brasil, História da Cidade do Rio de Janeiro. Arquitetura, Urbanismo, Saneamento, Literatura e Arquivologia, fazem parte do acervo geral, igualmente disponível.
Quanto aos tipos de documentos, a sua coleção é composta por anais, anuários, boletins, censos, códices, folhetos, livros, mensagens, monografias, obras raras e especiais, periódicos, relatórios, teses etc. Além disso, a Biblioteca possui também coleções particulares, frutos de doações, tais como: Carlos Lacerda, Fazenda do Viegas, Ferreira da Rosa, Francisco Duarte, Manoel Maurício de Albuquerque, Martinho Cardoso, Oliveira Reis, Pires de Almeida, Samuel Sztyglic, Serroa da Matta, e Imprensa Alternativa.