Ao Arquivo Geral da Cidade do Rio de Janeiro, sendo um arquivo de caráter público, compete a gestão e a preservação da documentação de valor permanente produzida na esfera do Poder Executivo municipal. Portanto, suas principais funções são organizar, gerir, preservar e democratizar o acesso público aos acervos documentais, que têm valor probatório e histórico reconhecidos, produzidos no âmbito da Prefeitura da cidade. Estas funções são também desempenhadas pelo AGCRJ, em relação às diversas coleções particulares que estão sob a sua custódia.

Outra função do Arquivo Geral é registrar, de diversas formas, as manifestações culturais, políticas e sociais, oficiais e não-oficiais, realizadas na cidade, de reconhecida relevância para a sua memória e para a sua história, contribuindo para divulgá-las e preservá-las.

Neste sentido, para cumprir as suas competências, o AGCRJ tem suas atividades organizadas em três unidades orgânicas: a Gerência de Documentação Escrita e Especial, a Gerência de Apoio Técnico e a Gerência de Pesquisa. A primeira se subdivide em duas Subgerências: a de Documentação Escrita e a de Documentação Especial. A segunda contém a Subgerência de Restauração e a terceira a Subgerência de Biblioteca.