可视化运行Python的神器Jupyter Notebook
文章目錄
- 簡介
- Jupyter Notebook
- 啟動notebook server
- notebook document 的結構
- code cells
- markdown cells
- raw cells
- 以模塊的形式導入Jupyter Notebooks
簡介
如果我們想要運行Python,通常有兩種方式,第一種方式就是在Python或者IPython的解釋器環境中進行交互式運行,還有一種方式就是程序員最喜歡的編寫.py文件,在文件中編寫python代碼,然后運行。
如果我們想寫一篇關于Python的文章,文章里面有代碼,還希望代碼能夠在當前頁面運行,可不可以做到呢?
可以的,那就是使用我們今天要介紹的Jupyter Notebook。
Jupyter Notebook
Jupyter項目是從Ipython項目中分出去的,在Ipython3.x之前,他們兩個是在一起發布的。在Ipython4.x之后,Jupyter作為一個單獨的項目進行開發和管理。因為Jupyter不僅僅可以運行Python程序,它還可以執行其他流程編程語言的運行。
Jupyter Notebook包括三個部分,第一個部分是一個web應用程序,提供交互式界面,可以在交互式界面中運行相應的代碼。
上圖是NoteBook的交互界面,我們可以對文檔進行編輯,運行等操作。
主要的功能如下:
-
在瀏覽器中進行代碼編輯,自動語法突出顯示,縮進和制表符完成/自檢功能。
-
從瀏覽器執行代碼的能力,并將計算結果附加到生成它們的代碼上。
-
使用諸如HTML,LaTeX,PNG,SVG等富媒體表示來顯示計算結果。例如,可以內嵌包含matplotlib庫渲染的具有出版質量的圖形。
-
使用Markdown標記語言在瀏覽器中對富文本進行的編輯(可以為代碼提供注釋)不僅限于純文本。
-
使用LaTeX輕松在markdown單元中包含數學符號的能力,并由MathJax本地呈現。
第二個部分就是NoteBook的文檔了,這個文檔存儲了要運行的代碼和一些描述信息。一般這個文檔是以.ipynb的后綴進行存儲的。
notebook文檔是以json的形式存儲的,并用base64進行編碼。使用json的好處就是可以在不同的服務器中方便的進行數據的交互。
Notebook documents中除了可運行的代碼文件,還可以存儲說明等解釋性內容,從而將代碼和解釋內容完美結合,尤其適合做學習筆記使用。
筆記本可以通過nbconvert命令導出為多種靜態格式,包括HTML,reStructuredText,LaTeX,PDF等多種格式。
另外文檔還可以方便的在網絡上進行共享。
第三個部分就是代碼運行的核心Kernels,通過不同的Kernels搭配,notebook可以支持運行多種程序。比如:Python,java,go,R,ruby,nodejs等等。
這些Kernels和notebook之間是以Json的形式通過MQ來進行通信的。
啟動notebook server
有了文檔之后,如果我們想要運行文檔,需要啟動notebook server。
jupyter notebook默認情況下會開啟下面的URL: http://127.0.0.1:8888
啟動的時候還可指定要打開的.ipynb文件:
jupyter notebook my_notebook.ipynb具體的notebook界面的操作這里就不多介紹了,基本上和普通的編譯器差不多。大家可以自行探索。
notebook document 的結構
notebook中包含了多個cells,每個cell中包含了多行文本輸入字段,可以通過Shift-Enter 或者工具欄中的播放按鈕來執行其中的代碼。
這里的cell有三種類型,分別是code cells,markdown cells和raw cells。
code cells
代碼單元允許您編輯和編寫新代碼,并突出顯示完整的語法和制表符。 您使用的編程語言取決于內核,默認內核(IPython)運行Python代碼。
執行代碼單元時,它包含的代碼將發送到與筆記本關聯的內核。 然后,從該計算返回的結果將在筆記本中顯示為單元格的輸出。 輸出不僅限于文本,還有許多其他可能的輸出形式,包括matplotlib圖形和HTML表格(例如,在pandas數據分析包中使用的表格)。
我們看一個code cells的例子:
#%%import numpy as np my_arr = np.arange(1000000) my_list = list(range(1000000))每個單元格是以 #%% 來進行分隔的。
Ipython本身還支持多種富文本的展示格式,包括HTML,JSON,PNG,JPEG,SVG,LaTeX等。
Ipython提供了一個display方法,我們可以使用display來展示要呈現的對象:
from IPython.display import displaydisplay(obj) 將會尋找這個對象所有可能的展示類型,并從中挑選一個最適合的類型進行展示,并將結果存儲在Notebook文檔里面。
如果你想展示特定類型的對象,那么可以這樣:
from IPython.display import (display_pretty, display_html, display_jpeg,display_png, display_json, display_latex, display_svg )舉個展示圖片的例子:
from IPython.display import Image i = Image(filename='../images/ipython_logo.png') i display(i)上面的例子中i包含了一個Image對象,直接調用i即可展示,我們也可以顯示的調用display(i)。
其他的富文本類型可以參考Image,使用方法都是類似的。
markdown cells
markdown是一種簡介的標記語言,使用起來非常簡單,使用范圍非常廣泛,所以notebook document也支持markdown的語法。
先看一個markdown cell的例子:
#%% md```python $ python Python 3.6.0 | packaged by conda-forge | (default, Jan 13 2017, 23:17:12) [GCC 4.8.2 20140120 (Red Hat 4.8.2-15)] on linux Type "help", "copyright", "credits" or "license" for more information. >>> a = 5 >>> print(a) 5 ```markdown中的語法在notebook中都是可以用的。
還支持標準的LaTeX 和 AMS-LaTeX語法。
raw cells
原始單元格提供了一個可以直接寫入輸出的位置。 notebook不會對原始單元格中的內容進行計算。
以模塊的形式導入Jupyter Notebooks
有時候我們希望以模塊的形式導入Jupyter Notebooks,但是可惜的是,Jupyter Notebooks并不是一個標準的python程序,不過Python提供了一些鉤子程序,讓我們能夠方便的進行導入。
首先,我們需要導入一些基本的API :
import io, os, sys, typesfrom IPython import get_ipython from nbformat import read from IPython.core.interactiveshell import InteractiveShell接下來需要注冊NotebookFinder到sys.meta_path:
sys.meta_path.append(NotebookFinder())這個NotebookFinder就是定義的鉤子。
我們看下NotebookFinder的定義:
class NotebookFinder(object):"""Module finder that locates Jupyter Notebooks"""def __init__(self):self.loaders = {}def find_module(self, fullname, path=None):nb_path = find_notebook(fullname, path)if not nb_path:returnkey = pathif path:# lists aren't hashablekey = os.path.sep.join(path)if key not in self.loaders:self.loaders[key] = NotebookLoader(path)return self.loaders[key]里面使用了兩個重要的方法,find_notebook用來找到notebook,和NotebookLoader,用來加載notebook。
看下find_notebook的定義:
def find_notebook(fullname, path=None):"""find a notebook, given its fully qualified name and an optional pathThis turns "foo.bar" into "foo/bar.ipynb"and tries turning "Foo_Bar" into "Foo Bar" if Foo_Bardoes not exist."""name = fullname.rsplit('.', 1)[-1]if not path:path = ['']for d in path:nb_path = os.path.join(d, name + ".ipynb")if os.path.isfile(nb_path):return nb_path# let import Notebook_Name find "Notebook Name.ipynb"nb_path = nb_path.replace("_", " ")if os.path.isfile(nb_path):return nb_path看下NotebookLoader的定義:
class NotebookLoader(object):"""Module Loader for Jupyter Notebooks"""def __init__(self, path=None):self.shell = InteractiveShell.instance()self.path = pathdef load_module(self, fullname):"""import a notebook as a module"""path = find_notebook(fullname, self.path)print ("importing Jupyter notebook from %s" % path)# load the notebook objectwith io.open(path, 'r', encoding='utf-8') as f:nb = read(f, 4)# create the module and add it to sys.modules# if name in sys.modules:# return sys.modules[name]mod = types.ModuleType(fullname)mod.__file__ = pathmod.__loader__ = selfmod.__dict__['get_ipython'] = get_ipythonsys.modules[fullname] = mod# extra work to ensure that magics that would affect the user_ns# actually affect the notebook module's nssave_user_ns = self.shell.user_nsself.shell.user_ns = mod.__dict__try:for cell in nb.cells:if cell.cell_type == 'code':# transform the input to executable Pythoncode = self.shell.input_transformer_manager.transform_cell(cell.source)# run the code in themoduleexec(code, mod.__dict__)finally:self.shell.user_ns = save_user_nsreturn mod有了他們,我們就可以直接import我們自己編寫的notebook了。
本文已收錄于 http://www.flydean.com/12-jupyter-notebook/
最通俗的解讀,最深刻的干貨,最簡潔的教程,眾多你不知道的小技巧等你來發現!
歡迎關注我的公眾號:「程序那些事」,懂技術,更懂你!
總結
以上是生活随笔為你收集整理的可视化运行Python的神器Jupyter Notebook的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: AI数学基础之:确定图灵机和非确定图灵机
- 下一篇: ES9的新特性:异步遍历Async it