2 lutego 1878 r. rozpoczęło działalność Krajowe Archiwum Aktów Grodzkich i Ziemskich w Krakowie i tę datę uznaje się za początek Archiwum Państwowego w Krakowie. Po odzyskaniu niepodległości Krajowe Archiwum Aktów Grodzkich i Ziemskich w Krakowie przeszło 1 października 1919 r. pod Zarząd Ministerstwa Wyznań Religijnych i Oświecenia Publicznego jako Archiwum Ziemskie. W 1936 r. przyjęło nazwę Archiwum Państwowego.
Od 1887 r. istniało również w Krakowie Archiwum Aktów Dawnych Miasta Krakowa, z dniem 1 lutego 1952 r. włączone do Archiwum Państwowego. Łączny zasób tych dwóch archiwów wynosił wówczas 4500 metrów bieżących akt. Aktualnie w magazynach archiwum znajduje się około 16 000 metrów bieżących materiałów archiwalnych wytworzonych od XII do XX w. Zarówno pod względem wielkości zasobu, jak i wartości zgromadzonych źródeł, archiwum krakowskie zalicza się do najważniejszych archiwów państwowych w Polsce.
Na wspomniane 16 000 metrów bieżących akt składa się ponad 2700 zespołów archiwalnych, stanowiących łącznie ponad 500 000 jednostek archiwalnych. Wśród nich warto wymienić liczący około 3500 zbiór dokumentów pergaminowych (1155- 1927). Dokumenty te, przynależne rozmaitym zespołom, zbiorom i archiwom historycznym rodów magnackich, stanowią bogaty materiał źródłowy do dziejów państwa, organizacji samorządowych, instytucji religijnych, rodzin i osób. Terytorialnie dotyczą zarówno obecnych, jak i dawnych ziem Rzeczypospolitej.
Niezwykle cenne dokumenty wchodzą w skład Zbioru Rusieckich (1211-1860), znajdziemy tu dokumenty z Archiwum Koronnego Krakowskiego, przywileje miast i wsi, fragmenty bogatych niegdyś, a dziś rozproszonych i zachowanych szczątkowo archiwów klasztornych. Również inne zbiory zawierają materiały o dużej wartości. Wymienić tu można Teki Schneidra (1773 - 1879) - z dokumentami i ikonografią dotyczącą kilku tysięcy miejscowości z terenu Galicji, Teki Ambrożego Grabowskiego (XVI - XIX w.) - z około 10 000 jednostek ikonografii z widokami Krakowa i innych miejscowości, zbiór ikonograficzny najstarszych planów i widoków Krakowa (XV - XIX w.), zbiór kartograficzny (XVI - XX w.), fotograficzny (XIX - XX w.), sfragistyczny (XII - XX w.), afiszy i ogłoszeń (XIX - XX w.), prasy konspiracyjnej (1939 - 1945) oraz materiałów "Solidarności" (1980-1989).
Do najważniejszych zespołów należy liczące ponad 3000 jednostek staropolskie Archiwum m. Krakowa (1257 - 1795), Archiwum m. Kazimierza, Kleparza, jurydyk i przedmieść krakowskich. Na uwagę zasługuje również największy w archiwach polskich zespół staropolskich ksiąg sądowych grodzkich i ziemskich (1374 - 1795) liczący ponad 3500 jednostek. Wspomnieć należy także o archiwach historycznych rodów magnackich : Chodkiewiczów, Potockich, Sanguszków i Tarnowskich, których materiały sięgają XIII i XIV w. Pośród licznych zespołów akt wytworzonych w okresie zaborów na szczególną uwagę zasługują akta c. k. Dyrekcji Policji w Krakowie (1849 - 1918) zawierające bogate materiały źródłowe do dziejów ruchów politycznych w Krakowie i Galicji. Jednym z najczęściej wykorzystywanych zespołów są akta Naczelnego Komitetu Narodowego (1914 - 1920), ilustrujące polski czyn niepodległościowy w czasie I wojny światowej. Dzieje Krakowa w czasie okupacji znajdują odbicie w aktach Starosty m. Krakowa (1939 - 1945), a końcowe lata działalności władz samorządu Krakowa w aktach Zarządu Miejskiego w Krakowie (1945 - 1950) i Urzędu Wojewódzkiego w Krakowie (1945 - 1950). Do cennych źródeł trzeba zaliczyć akta sądowe i prokuratorskie z okresu powojennego.
Uzupełnieniem zasobu archiwalnego jest duża biblioteka naukowa licząca ponad 50 000 książek, oraz zbiór prasy krakowskiej i galicyjskiej.
Bogatą historię ma również budynek przy ul. Siennej 16, od 1887 roku siedziba Archiwum Aktów Dawnych m. Krakowa, dziś główna siedziba Archiwum Państwowego. Tu powstało w 1896 roku istniejące do dziś Towarzystwo Miłośników Historii i Zabytków Krakowa, a swe zebrania odbywało Grono Konserwatorów Galicji Zachodniej, prekursor państwowej służby ochrony zabytków.
Od 1995 r. archiwum wydaje własny "Krakowski Rocznik Archiwalny", w większości zapełniony publikacjami pracowników archiwum.
Archiwum ma charakter otwarty i wciąż gromadzi materiały przekazywane przez instytucje państwowe czy samorządowe, stowarzyszenia, Urzędy Stanu Cywilnego, jednostki gospodarcze, a także osoby prywatne. Przejmuje archiwalia przede wszystkim związane z historią miasta i regionu, ale także materiały dotyczące dawnych terenów wschodnich Rzeczpospolitej, będące uzupełnieniem posiadanych archiwów rodzinnych .
Wszystkie zespoły archiwalne posiadają inwentarze bądź spisy, jednak w pełni opracowane pomoce naukowe w postaci inwentarzy książkowych posiada jedynie około połowa zbiorów. Indeksy sporządzono dla większości akt stanu cywilnego, spisów ludności, akt sądowych - przede wszystkim z okresu staropolskiego oraz dla wykazu więźniów niemieckich więzień i obozów koncentracyjnych z l. 1939 - 1945.