大盂鼎道光年间在陕西眉县出土，先为豪绅宋金鉴所得，后被县令以500两黄金购去，宋得官翰林后，又用白银3000两买回，最后为左宗棠所有。因左宗棠被弹劾时潘祖荫三次上疏营救，左遂以大盂鼎相赠，终于报答了潘氏上奏保举的大恩。另一件大克鼎，是光绪十五年在陕西宝鸡县渭水南岸出土，潘祖荫花了650两白银购得了大克鼎。在此之前，他已得丁周史颂鼎，大盂鼎三宝镇家。潘氏自然高兴，直隶总督端方，噌向潘逼诱出让，终未能如愿。

除收藏青铜器外，潘祖荫还是一个著名的藏书家。他的藏书来之不易，曾自言：佞宋真成癖，年来不可寻。偶然珍一帙，直欲抵兼金。角折芸香蔚，签残蠹物侵。海源今宛委，万轴自森森。“滂喜斋”和“功顺堂”是他的藏书室，他将藏书编成《滂喜斋藏书记》、《滂喜斋书目》。潘祖荫的善本中有许多得自怡王府乐善堂。其族侄孙潘景郑说：“吾家《滂喜斋书目》著录有怡府藏印者，不下二三十种，皆其精本也。”实际上，滂喜斋收藏特点是倾向于宋元旧版，并且是多抄校本书。潘祖荫曾得自成府永王星所藏者，如宋刻《司马氏书议》，此书书品极佳，纸墨清朗，似未曾触者。他的门生叶昌炽，也曾在滂喜斋时看见过“宋刻《金石录》十卷，即《敏求记》所称冯研祥家本；并称“宋刻《白氏文集》残本、《后村先生集》残本、《葛归愚集》、《淮海居士长短句》，皆士礼旧藏；北宋本《广韵》，则泽存张氏所刊祖本也；其他高编大册，断璧零缣，皆世间希有之秘”。这使滂喜斋成为京师及东南重要的藏书楼。

至晚年，潘祖荫的藏书数量已是非常可观，正如清末民初学者王季烈在《滂喜斋藏书记·序》中说潘祖荫“在朝数十年，持躬清介，屏绝馈遗，所藏商周珍器、宋元精椠，皆尽廉俸购之四方”。可谓“图书金石之富，甲于吴下。”足让潘祖荫成为当时最著名的一位藏书家。

除了收藏青铜器和古书外，潘氏还是收藏和鉴赏鼻烟壶的大家。清朝达官贵人喜吸鼻烟，由此鼻烟壶艺术品及收藏也蔚然成风。据说，清代鼻烟壶收藏家要论收藏的数量当属和珅，和珅倒台后从他家抄出的名贵鼻烟壶有上千只；要论赏鉴水平，那潘祖荫就属第一了。潘祖荫去世后，杨度之弟杨钧曾感叹：世上没有潘祖荫，就没有真正懂鼻烟壶的了。

清代是金石学的鼎盛时期，学人士子、官宦商贾争相搜购，使钱币、碑贴、三代彝器等青铜器，成为市场上的热门藏品。嗜好广泛的潘祖荫，对金石文字也很着迷。咸丰三年(1853)四月，与朝鲜李尚迪(字藕船)定金石文字之交。翌年，李尚迪弟子吴庆锡与孔宪彝、叶澧、阮福、潘祖荫为文酒之会，广辑朝鲜、日本碑刻作《海东金石录》二十四卷。后每逢彝器出土，都最先去收购，所得有钟、四齐镈、史颂鼎、匽侯鼎、盂鼎、善夫克鼎等稀世文物。但潘祖荫对自己所藏之品极为珍视，并进行了深入的探究其内涵。他 “每得一器，与同好者切磋研究，图状释文，以传后世。”潘氏的收藏也深深地影响到了文人书画家和篆刻家赵之谦，他们经常就青铜铭文相互切磋，从而结下了深厚的友谊。赵之谦还曾为潘世恩撰写碑文。

对于碑帖，潘祖荫也勤于搜罗，有晚清“传世古拓珍本经手最多”之誉。《清稗类钞》、《清代野记》、《潘祖荫日记》中，对于潘祖荫访碑求贴都有记载，从中可以看到潘祖荫在碑贴收藏方面的情况。潘祖荫搜访碑贴去得最多的地方，是北京的琉璃厂。他搜集碑碣石刻拓本，专找宜古斋的李云从：“有若李云从者，直隶故城人，幼习碑贾，长益肆力于考据……云从为潘文勤所赏识，有所售，辄如数以偿”。

攀古楼彝器款识

此外，他在办差的途中也收集了不少碑帖。咸丰戊午六月，潘祖荫为陕甘正考官。九月二十二日从西安返京途中，日记记载：“子和谈及贵州有姜伯约碑，在仁怀厅，夜朗济二大碑，在大定府，郑珍有考，为之神往久之，小湘以首阳各碑赠。”听说某处有碑而为之神往，可见潘氏对于碑贴的热心。潘有一次回乡修墓，听人说某处有古碑，就急忙叫人带着去看。那块碑原来在一户人家的床后边。潘祖荫点了蜡烛钻进去连看带摸，堂堂京官弄得灰头土脸，却乐此不疲，毫不在意。《潘祖荫日记》多记几次出京行程、食宿，文字极为简略，但对于沿途古碑，却不吝笔墨。如咸丰戊午二十日：“抵介休县，县北五里拜郭有道祠墓，有蔡中郎碑，一郑谷口书，一傅青主书，至原碑前，则不可得见矣。所谓万历时郭青螺鉤摹重刻本亦未见郦注。又有宋子浚碑，宋名冲林，宗友也，今佚。” 可见他对碑贴的感兴趣。

潘氏亦喜好藏印，有官印、印凡三百零四板。他的金石收藏甲于吴中，闻名南北。其印有“吴县潘氏郑盫藏“朱隶方、“伯寅藏书”朱大方、“祖”朱小方、“荫”朱小方、“伯寅经眼”朱方、“如愿”朱长方、“攀古廔(楼)“朱长方、“潘祖荫藏书记”朱长方、“九涛十八涧中人”、“八求精舍”、“龙威洞天”等。生平著述不多，他刊印了他的一些游记和诗作潘祖荫擅长书法，与潘世恩、潘世璜一起被称为书法“苏州三杰”。