肝!精心整理了 50 个数据源网站!
點擊關注上方“小詹學Python”,
作者:王術,發表于知乎 來源:zhihu.com/question/22698541/answer/22367802 部分內容來自網絡01 搜索引擎
搜索引擎是我們信息資料搜集的最重要的渠道之一,用搜索引擎查找信息資料需要使用恰當的關鍵詞和一些搜索技巧。目前國內主要的搜集引擎有如下10個,近期還有較多行業型搜索冒出來,需找專業型行業資料可以使用行業型搜索引擎。
由于每個搜索引擎都有一定的局限性,可以把要搜索的關鍵詞在多個搜索引擎試一下,可能會搜出你意想不到的結果。
大家對國內的引擎基本都很熟悉,尤其是百度和google,需要搜索同一主題的資料,不同的人所搜出來的結果可能就天差地別了,主要原因在于如下兩點:
1. 搜索關鍵字的選擇
舉例說明,假如我們要搜索大數據行業發展相關資料,如果我們就在百度上搜索“大數據”,結果非常多,無法進行篩選,可以對關鍵詞進一步界定,如“大數據行業”“大數據市場規模”“中國大數據產業”“大數據技術”“大數據企業”等等,需要不停地變換搜索關鍵詞,直到查到滿意的搜索結果。
在查找的過程中可以根據查找結果內容再進行對關鍵詞進行修正,修正有些名稱專業表達方式,因為最開始搜索我們表達的不一定準確。
2. 搜索技巧
主要是針對百度、google等搜索引擎一些高級搜索技巧。常用技巧主要有如下幾個方面:
1)文件類型搜索
使用filetype,如在百度或google中鍵入“filetype:pdf 大數據”搜索出有關大數據內容pdf內容,而且這些文檔基本都是可直接下載。還可以變換為其他的,如“filetype:doc”“filetype:ppt”“filetype:xls”等等,注意其中的冒號為英文的冒號,一定要變換為英文冒號。
2)定位于哪個網站上搜索
使用site,如在百度或google中鍵入“大數據空格site:sina.com”,則在sina.com搜索有關大數據的一些資料信息,這個特別適用針對某些信息可能在哪些網站上出現的一個快速搜索方法,注意冒號也是英文的,網站名稱也不用加www。
3)精確匹配搜索
使用“”,如在百度中鍵入“大數據行業”,表示搜索“大數據行業”五個必須聯在一起的,如果不加“”,搜到的為大數據及行業兩個詞并列顯示結果,沒有這么精確匹配。
4)限制性的網頁搜索
使用intitle,如在百度鍵入“intitie:大數據”,限定于搜索標題中含有“大數據”網頁,如果輸入“intitie:大數據市場規模”限定于搜索標題中含有“大數據”和“市場規模”的網頁。
附:搜索引擎推薦
http://scholar.google.com/
Google學術搜索濾掉了普通搜索結果中大量的垃圾信息,排列出文章的不同版本以及被其它文章的引用次數。略顯不足的是,它搜索出來的結果沒有按照權威度(譬如影響因子、引用次數)依次排列,在中國搜索出來的,前幾頁可能大部分為中文的一些期刊的文章。
http://www.scirus.com
Scirus 是目前互聯網上最全面、綜合性最強的科技文獻搜索引擎之一,由Elsevier科學出版社開發,用于搜索期刊和專利,效果很不錯!
Scirus覆蓋的學科范圍包括:農業與生物學,天文學,生物科學,化學與化工,計算機科學,地球與行星科學,經濟、金融與管理科學,工程、能源與技術,環境科學,語言學,法學,生命科學,材料科學,數學,醫學,神經系統科學,藥理學,物理學,心理學,社會與行為科學,社會學等。
http://www.base-search.net/
BASE是德國比勒費爾德(Bielefeld)大學圖書館開發的一個多學科的學術搜索引擎,提供對全球異構學術資源的集成檢索服務。它整合了德國比勒費爾德大學圖書館的圖書館目錄和大約160個開放資源(超過200 萬個文檔)的數據。
http://www.vascoda.de/
Vascoda是一個交叉學科門戶網站的原型,它注重特定主題的聚合,集成了圖書館的收藏、文獻數據庫和附加的學術內容。
http://www.goole.com/
與google比較了一下發現,能搜索到一些google搜索不到的好東東 。它界面簡潔,功能強大,速度快,YAHOO、網易都采用了它的搜索技術。各位可以一試。
http://www.a9.com
Google在同一水平的搜索引擎。是Amazon.com推出的,Webresult部分是基于Google的,所以保證和Google在同一水平,另外增加了Amazon的在書本內搜索的功能和個性化功能:主要是可以記錄你的搜索歷史。
http://www.findarticles.com/
一個檢索免費paper的好工具。進入網頁以后,可以看到他有三個功能,driectory web article,其中article對我們很有幫助,你可以嘗試輸入你要找的文章,會有很多發現的!
http://www.emolecules.com
在此搜索引擎里可以搜索到超過千萬種化學品信息或相應的供應商,與Chemblink有點相似,但提供的化學品理化信息沒有Chemblink詳細,與其不同的是該搜索引擎可提供化學品結構式搜索(主頁上有在線繪制化學結構式的搜索框)。
http://www.ojose.com/
OJOSE (Online JournalSearch Engine,在線期刊搜索引擎)是一個強大的免費科學搜索引擎,通過OJOSE,你能查找、下載或購買到近60個數據庫的資源。但是感覺操作比較復雜。
http://citeseer.ist.psu.edu/
一個關于計算機和信息科學的搜索引擎。
http://hpsearch.uni-trier.de/
專家個人主頁搜索引擎。
02 數據庫
數據庫是研究人員重要的數據來源之一,目前券商、基金研究研究機構都購買有商業數據庫,目前研究用的數據庫主要分為兩大類,一是商業數據庫,二是學術數據庫。
1. 商業數據庫
商業數據庫大多為金融投資所用,主要分為國內與國外數據庫兩大類。
1)國內商業數據庫
國內數據庫主要有如萬德、恒生聚源、銳思數據庫、CSMAR數據庫、巨潮數據庫等。
目前萬德數據庫主要定位于國內高端客戶,市場占有率較高,80%左右,當然其售價較高。
恒生聚源也定位為機構客戶,性價比較高,售價要比萬德便宜的多。
CSMAR數據庫定位于學術與高校,其中金融數據比較全,強大。
銳思數據庫定位于學術,質量一般。
巨潮數據庫為深交所旗下數據庫,有一定的特殊優勢。
2)國外商業數據庫
國外數據庫主要有彭博、路透社、CEIC、OECD、Haver Database、Thomson Financial One Banker等。
國外數據庫中彭博是比較全也大的,在國內銷售也較好,但是售價奇貴。一般不做國際市場研究,大多用不到國外數據庫,畢竟國外數據庫公司對國內的行業數據及公司數據不如本土數據庫公司的做得好。
2. 學術數據庫
學術數據庫基本為高校、研究機構所用,也分為國內與國外兩大類,學術數據庫中一些學術論文、行業數據、統計年鑒還是有用的,缺點就是其中有些數據的相對較舊,無法做到實時更新。
1)國內學術數據庫
中國知網:國內最大學術數據庫,包括期刊、學位論文、統計年鑒等
萬方數據:僅次于中國知網,包括期刊、學位論文等
人大復印資料:期刊、論文等
維普:期刊、論文等
中經網:有較多行業研究報告,宏觀數據較全
國研網:數據較為權威,有些報告可以一看
上海公共研發平臺:可以注冊,人工審核,內包含較多數據庫
2)國外學術數據庫
EBSCO:較全的一個數據庫,內包含較多的商業數據,好用
Elsevier:學術文章全,更新速度快
以上大致介紹了國內的商業及學術數據庫,但這些數據庫都是通過收費或學校賬號才能使用,對于平時臨時研究用的一些人,沒有必要去購買,下面介紹一些免費可用的數據庫。
數據匯:國內的宏觀數據,國外的也有一部分,可以導出來,免費好用。
http://www.shujuhui.com/database/
數據圈:免費共享平臺,行業研究報告,統計年鑒等
http://www.shujuquan.com.cn/
FRED
http://research.stlouisfed.org/fred2/
OECD圖書館
http://www.oecd-ilibrary.org/economics
臺灣學術數據庫:部分文章提供免費全文下載
http://fedetd.mis.nsysu.edu.tw/
臺灣大學電子書
http://ebooks.lib.ntu.edu.tw/Home/ListBooks
03 共享文庫
首先也非常感謝共享文庫的出現,使得大家搜集信息方便了許多,隨最早的豆丁、百度、愛問等共享文庫的出現,隨后到如今出現許多共享文庫,不過很多文庫規模較小,文檔數量較少。
1. 國內主要文庫
百度文庫
http://wenku.baidu.com/
國內文檔數據量最大的共享文庫,綜合型的,好用。
豆丁文庫
http://www.docin.com/
其收費的盈利模式導致用戶數量逐年減少,文檔質量也不如百度文庫。
愛問共享
http://ishare.iask.sina.com.cn/
綜合型文庫,里面也時常發現好的行業研究報告,電子書籍等。
道客巴巴
http://www.doc88.com/
綜合型文庫,后起之秀,文檔數量和質量較好。
智庫文檔
http://doc.mbalib.com/
以管理、行業文檔為主,質量較好。
文庫大全
http://www.wenkudaquan.com/
無需注冊,通過點擊廣告模式盈利,文檔內容多。
IT168文庫
http://wenku.it168.com/
專業型文庫,以計算機及IT技術相關的文檔為主。
CSDN
http://www.csdn.net/
全球最大的中文IT社區。
呱仕網
http://www.guasee.com/
以創業投資、證券市場等文檔為主的專業型文庫,剛起步狀態。
新浪地產
http://dichan.sina.com.cn/
國內最大房地產類文庫,房地產相關策劃、數據較全。
2. 國外文庫
Scribd
http://www.scribd.com
全球最大的文檔分享平臺。
Docstoc
http://www.docstoc.com
在線文檔與圖片分享平臺。
針對以上國內的共享文庫,都可以通過注冊賬號,上傳分享資料賺取積分,通過積分可以下載文庫資料。
如果有些文檔看過后不錯想保存下來積分不夠,可以通過文庫下載器來免費下載保存,文庫下載器有如“冰點文庫下載、易讀下載、老張文庫下載”等等,如果只看重其中一部分內容,可以通過QQ拷屏方式保留下來(登陸QQ,ctrl+alt+a拷屏)。
04 專業網站
在共享文庫未出現以前,專業論壇一直擔任著查找資料的好去處,的確國內的一些論壇經過這么多年的運營,已經積累大量有用文檔。下面主要介紹我們常用的專業論壇。
1. 人大經濟論壇
http://bbs.pinggu.org/
經濟、學術型論壇,其中行業研究、統計年鑒數量多,更新速度快,我的最愛,常用。
2. 經濟學家
http://bbs.jjxj.org/
經濟學專業論壇,其中統計年鑒、行業報告、國內外數據等有特色。
3. 隨意網-經濟論壇
http://economic.5d6d.net/
新建網站,有些內容尚可。
4. 理想在線
http://www.55188.com
股票券商研究報告。
5. 邁博匯金
http://www.hibor.com.cn/
股票券商研究報告,目前已經收費了,只能查詢有哪些最新報告了,無法下載。
6. 博瑞金融
http://www.brjr.com.cn/forum.php;
金融行業專業型論壇。
7. 華爾街社區
http://forum.cnwallstreet.com/index.php
國內專業的金融論壇。
8. 投行先鋒論壇
http://www.thxflt.com/
專業型為投行人士探討而設立的論壇。
9. 春暉投行在線
http://www.shenchunhui.com/
證券相關政策的匯編整合論壇。
10. 中華股權投資論壇
http://www.tzluntan.com/
pe投資專業型論壇。
11. 其他專業網站
投行網站:
http://macabacus.com/
http://www.wallstreetoasis.com/
http://www.ibankingfaq.com/
http://stocks.etnet.com.cn/www/sc/stocks/ci_ipo.php
http://www.aastocks.com/sc/ipo/sponsor.aspx
http://terminal.chinaef.com/index.action
http://www.mergermarket.com/info/
各大咨詢公司報告:
http://www.deloitte.com/view/zh_CN/cn/services/
http://www.deloitte.com/view/en_GX/global/insights/index.htm
http://www.kpmg.com/CN/en/IssuesAndInsights/Pages/default.aspx
http://www.mckinsey.com/locations/chinasimplified/
http://www-31.ibm.com/cn/services/bcs/
http://www.bcg.com.cn/cn/newsandpublications/newsandpublictions_publications.html
http://www.ebusinessreview.cn/
http://www.ey.com/CN/ZH/home/library
http://www.bain.cn/news.php
https://china.mckinseyquarterly.com/home.aspx
http://www.pwccn.com/home/eng/libraryindex.html
http://www2.hewittassociates.com/Intl/AP/zh-CHT/Default.aspx
http://www.booz.com/global/home/what_we_think/cds_home/m_and_a/cds_our-leading-research-on-ma
05 政府部門
政府部門是國內公開數據的來源,查詢權威的數據可以到政府相關部門網站,以下介紹國內的主要發布相關數據的政府部門。
1. 國家統計局
http://www.stats.gov.cn/
這個不用多說,大家很多人瀏覽過。
2. 工業和信息化部
http://www.miit.gov.cn
較多數據在此發布,尤其是有關工業運行及信息化相關數據。
3. 中國人民銀行
http://www.pbc.gov.cn/
中國金融市場政策及運行相關數據。
4. 銀監會
http://www.cbrc.gov.cn
銀行金融相關數據。
5. 中國海關
http://www.customs.gov.cn
中國進出口相關數據。
6. 國家知識產權局
http://www.sipo.gov.cn
專利相關查詢。
7. 中國證監會
http://www.csrc.gov.cn
相關政策及招股書披露平臺,以及擬上市公司排隊每周披露。
8. 巨潮信息網
http://www.cninfo.com.cn/
中國資本市場指定披露平臺,上市公司相關年報、季報及公告披露信息。
06 證券交易所
1. 上海證券交易所
http://www.sse.com.cn/
其中研究出版欄目中有些研究報告。
2. 深圳證券交易所
http://www.szse.cn/
其中研究/刊物中有研究報告。
3. 全國中小企業股份轉讓系統(新三板)
http://www.neeq.com.cn/
新三板掛牌公司的轉讓及信息披露。
4. 香港證券交易所
http://www.hkexnews.hk/index_c.htm
5. 臺灣證券交易所
http://www.tse.com.tw/ch/index.php
6. 新加坡證券交易所
http://www.sgx.com/
7. 紐約證券交易所
http://www.nyse.com
8. 納斯達克證券交易所
http://www.nasdaq.com
07 如何尋找國外數據
1. 搜集美國相關數據
由位于華盛頓的美國政府印刷辦公室出版、經濟顧問委員會撰寫的《總統經濟報告》(Economic Report of President),提供了有關美國當前經濟形勢的描述和主要宏觀經濟變量數據。相當多的數據都可以追溯到1959年,甚至個別的可追溯到1929年。
可能你已經留意到了,好多有關美國的圖形,都是采用《總統經濟報告》(2005)所附數據生成的。這些數據可以免費下載,網址:
http://www.access.gpo.gov/eop/
如果想獲得最近數據的詳細資料,一個不錯的選擇是,美國商務經濟分析局每月出版的《當代商業縱覽》(Survey of Current Business)。網址:
http://www.bea.doc.gov/
2. 如何搜集國外其他經濟體數據
對富裕國家來說,最有用的資料來源于經濟合作與發展組織(Organization of Economic Cooperation and Development,簡稱OECD)。
經濟合作與發展組織的成員包括:奧地利、澳大利亞、比利時、加拿大、捷克共和國、丹麥、芬蘭、法國、德國、希臘、匈牙利、冰島、意大利、日本、盧森堡、墨西哥、荷蘭、新西蘭、挪威、波蘭、葡萄牙、韓國、西班牙、瑞典、瑞士、土耳其、英國和美國。看來,世界上的富裕國家大都屬于該組織,其產出占世界產出的70%左右。
OECD的網址:
http://www.oecd.org/
提供三種極為有用的數據:
《OECD經濟展望》(OECD Economic Outlook),每年出版兩次,提供許多跨國宏觀經濟數據。這些數據一般都上溯到20世紀70年代,而且具有很好的一致性。
《OECD就業展望》(OECD Employment Outlook),每年出版一次,專門提供勞動力市場的數據。
《OECD歷史統計》(OECD Historical Statistics),不定期出版,將當期數據和過去數據放在一起。
對于不是OECD成員的國家和地區,可以從其它國際組織那里獲得相關數據,比如國際貨幣基金組織(International Monetary Fund,簡稱IMF),網址:
https://www.imf.org/
IMF提供《國際金融統計年鑒》(InternationalFinancial Statistics Yearbook),它主要提供成員國的金融數據,但也包括一些總體數據,比如GDP、失業和通貨膨脹等。
至于若干國家長期的統計數據,兩個不可多得的數據來源是,Heston-Summers數據庫和Madison數據庫。
Heston-Summers數據庫提供168經濟體在1950-2000年間的跨國可比數據,在賓夕法尼亞大學國際比較中心(Center for International Comparisons at the University ofPennsylvania)網站上可以下載:
http://pwt.econ.upenn.edu/
Madison數據庫提供了自1820年以來56個經濟體的數據。
最后,如果還沒有找到你要的數據,不妨登陸下面的兩個網站,也許是根稻草。哈佛商學院的宏觀經濟學資源網站提供了大量連接:
https://www.hbs.edu/faculty/units/bgie/Pages/default.aspx
由密西西比大學BillGoffe維護的一個網站:
http://rfe.wustl.edu
不僅列出了數據來源,而且還列出了有關經濟的其他信息來源。
08 分行業網站
1. 互聯網及傳媒
1)資訊類
新浪科技
http://tech.sina.com.cn/
騰訊科技
http://tech.qq.com/
艾瑞網
http://www.iresearch.cn/
藝恩網
http://www.entgroup.cn/
虎嗅網
http://wwww.huxiu.com/
36kr
http://36kr.com/
鈦媒體
http://www.tmtpost.com/
游戲大觀
http://www.gamelook.com.cn/
億歐網
http://www.iyiou.com/
媒介36
http://www.chinamedia360.com/main
2)數據類
中國票房
http://www.cbooo.cn/
中國互聯網絡信息中心
http://www.cnnic.net.cn/
艾瑞網
http://www.iresearch.com.cn/report/viewlist.aspx
易觀智庫
http://www.analysys.cn/
游戲產業網
http://www.cgigc.com.cn/list/79644663134.html
百度指數
http://index.baidu.com/
大數據導航
http://hao.199it.com/
CSM(電視收視率)
http://www.csm.com.cn/
微排片
http://www.weipaipian.com
2. 銀行業
1)新聞資訊
中證網
http://www.cs.com.cn/xwzx/hg/
一財網
http://www.yicai.com/economy/
財新網
http://finance.caixin.com/bank/
華爾街見聞
http://wallstreetcn.com/news?cid=19
新浪財經
http://finance.sina.com.cn/
證券時報網
http://www.stcn.com/
中國金融新聞網
http://www.financialnews.com.cn/yh/xw/
2)公告、數據查找
中國貨幣網
http://www.chinamoney.com.cn/index.html
巨潮網
http://www.cninfo.com.cn/
統計局
http://www.stats.gov.cn/
中國人民銀行
http://www.pbc.gov.cn/
銀監會
http://www.cbrc.gov.cn/index.html
上海證券交易所
http://www.sse.com.cn/
深圳證券交易所
http://www.szse.cn/
3. 有色金屬
1)日報網站
宏觀新聞:央行快訊
http://t.news.fx168.com/bank/
行業新聞:中國金屬網
http://www.metalchina.com
上海有色網
http://www.smm.cn/index_2015.html
百川咨詢
http://www.baiinfo.com
公司公告:巨潮
http://www.cninfo.com.cn
2)其他常用站
高工鋰電
http://www.gg-lb.com/default_index_new.php
真鋰研究
http://www.realli.net
深交所互動易(查看投資者互動資料)?
http://irm.cninfo.com.cn/szse/
中金網(有色金屬)
http://www.metalsinfo.com/news/
銀
https://www.silverinstitute.org/site/publications/
新三板咨訊
http://www.sanban18.com
格隆匯港股
http://www.gelonghui.com/portal.php
09 其他
除以上介紹的幾種資料搜集渠道外,我們也結合近年it科技的發展,在博客、微博、空間等去搜索。
1. 行業協會網站
每個行業協會基本都會有網站,在該網站上能夠查找一些對本行業的描述、相關數據等。
2. 博客
國內有網易、新浪、搜狐、百度空間、和訊等博客網站,有些數據也可以從搜索博客中找到。
3. 微博
新浪微博及騰訊微博,用數量極大,其中有些數據可以通過搜索查詢到。
4. 微信
微信用戶已經超過4億,每個人都是新聞的發布者,其中數據資源豐富,但目前還未提供全文搜索功能,只能通過關注相關公共賬號或關注朋友圈獲取。
5. QQ空間
有些企業或機構QQ空間會有些報告及數據發布。
6. 全景網
http://www.p5w.net/
注:本文中提到的部分網站需科學上網才能訪問,另由于信息更新不及時等原因,部分鏈接可能已失效。歡迎大家一起查bug。
E N D
由于微信平臺算法改版,公號內容將不再以時間排序展示,如果大家想第一時間看到我們的推送,強烈建議星標我們和給我們多點點【在看】。星標具體步驟為: (1)點擊頁面最上方“小詹學Python”,進入公眾號主頁。 (2)點擊右上角的小點點,在彈出頁面點擊“設為星標”,就可以啦。 感謝支持,比心。 Avengers小詹開通了一個視頻號,會分享互聯網那些事、讀書心得與副業經驗,歡迎各位掃描下方二維碼關注。總結
以上是生活随笔為你收集整理的肝!精心整理了 50 个数据源网站!的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 赞!《Python面试大全》PDF版来啦
- 下一篇: 中国大学前10强!校友会2020世界一流