将Jupyter笔记本作为模块导入

人们想要从Jupyter笔记本电脑导入代码是一个常见的问题。笔记本不是普通的Python文件，因此不能由常规的Python机器导入，这使得这一点变得很困难。

幸运的是，Python提供了一些相当复杂的 hooks 进入进口机器，所以我们实际上可以毫不费力地让Jupyter笔记本可进口，并且只使用公共API。

import io, os, sys, types

from IPython import get_ipython
from nbformat import read
from IPython.core.interactiveshell import InteractiveShell

导入挂钩通常采用两个对象的形式：

1. A模块 Loader ，它接受一个模块名称(例如 'IPython.display' )，并返回一个模块

2. A模块 Finder ，它判断模块是否可能存在，并告诉Python Loader 使用

def find_notebook(fullname, path=None):
    """find a notebook, given its fully qualified name and an optional path

    This turns "foo.bar" into "foo/bar.ipynb"
    and tries turning "Foo_Bar" into "Foo Bar" if Foo_Bar
    does not exist.
    """
    name = fullname.rsplit('.', 1)[-1]
    if not path:
        path = ['']
    for d in path:
        nb_path = os.path.join(d, name + ".ipynb")
        if os.path.isfile(nb_path):
            return nb_path
        # let import Notebook_Name find "Notebook Name.ipynb"
        nb_path = nb_path.replace("_", " ")
        if os.path.isfile(nb_path):
            return nb_path

笔记本加载器

这是我们的Notebook Loader。这实际上非常简单–一旦我们找出模块的文件名，它所做的就是：

1. 将笔记本文档加载到内存中

2. 创建空模块

3. 执行模块命名空间中的每个单元格

由于IPython单元格可以具有扩展的语法，因此在执行它们之前，应用IPython转换将这些单元格中的每个单元格转换为它们的纯Python对等物。如果您的所有笔记本单元格都是纯Python，那么这一步是不必要的。

class NotebookLoader(object):
    """Module Loader for Jupyter Notebooks"""

    def __init__(self, path=None):
        self.shell = InteractiveShell.instance()
        self.path = path

    def load_module(self, fullname):
        """import a notebook as a module"""
        path = find_notebook(fullname, self.path)

        print("importing Jupyter notebook from %s" % path)

        # load the notebook object
        with io.open(path, 'r', encoding='utf-8') as f:
            nb = read(f, 4)

        # create the module and add it to sys.modules
        # if name in sys.modules:
        #    return sys.modules[name]
        mod = types.ModuleType(fullname)
        mod.__file__ = path
        mod.__loader__ = self
        mod.__dict__['get_ipython'] = get_ipython
        sys.modules[fullname] = mod

        # extra work to ensure that magics that would affect the user_ns
        # actually affect the notebook module's ns
        save_user_ns = self.shell.user_ns
        self.shell.user_ns = mod.__dict__

        try:
            for cell in nb.cells:
                if cell.cell_type == 'code':
                    # transform the input to executable Python
                    code = self.shell.input_transformer_manager.transform_cell(cell.source)
                    # run the code in themodule
                    exec(code, mod.__dict__)
        finally:
            self.shell.user_ns = save_user_ns
        return mod

模块查找器

查找器是一个简单的对象，它告诉您一个名称是否可以导入，并返回适当的加载器。当您执行以下操作时，此命令所做的全部工作就是检查：

import mynotebook

它会检查是否 mynotebook.ipynb 是存在的。如果找到笔记本，则返回NotebookLoader。

任何额外的逻辑都只是用于解析包中的路径。

class NotebookFinder(object):
    """Module finder that locates Jupyter Notebooks"""

    def __init__(self):
        self.loaders = {}

    def find_module(self, fullname, path=None):
        nb_path = find_notebook(fullname, path)
        if not nb_path:
            return

        key = path
        if path:
            # lists aren't hashable
            key = os.path.sep.join(path)

        if key not in self.loaders:
            self.loaders[key] = NotebookLoader(path)
        return self.loaders[key]

注册挂钩

现在，我们将注册 NotebookFinder 使用 sys.meta_path

sys.meta_path.append(NotebookFinder())

在这之后，我的笔记本应该可以进口了。

让我们来看看我们在CWD中有什么：

ls nbpackage

所以我应该能够 import nbpackage.mynotebook 。

import nbpackage.mynotebook

旁白：展示笔记本

下面是一些简单的代码，用于显示带有语法突出显示等的笔记本内容。

from pygments import highlight
from pygments.lexers import PythonLexer
from pygments.formatters import HtmlFormatter

from IPython.display import display, HTML

formatter = HtmlFormatter()
lexer = PythonLexer()

# publish the CSS for pygments highlighting
display(
    HTML(
        """
<style type='text/css'>
%s
</style>
"""
        % formatter.get_style_defs()
    )
)

def show_notebook(fname):
    """display a short summary of the cells of a notebook"""
    with io.open(fname, 'r', encoding='utf-8') as f:
        nb = read(f, 4)
    html = []
    for cell in nb.cells:
        html.append("<h4>%s cell</h4>" % cell.cell_type)
        if cell.cell_type == 'code':
            html.append(highlight(cell.source, lexer, formatter))
        else:
            html.append("<pre>%s</pre>" % cell.source)
    display(HTML('\n'.join(html)))


show_notebook(os.path.join("nbpackage", "mynotebook.ipynb"))

所以我的笔记本有一些代码单元格，其中一个包含一些IPython语法。

让我们来看看导入它时会发生什么

from nbpackage import mynotebook

万岁，它是进口的！它起作用了吗？

mynotebook.foo()

又一次万岁！

甚至包含IPython语法的函数也可以工作：

mynotebook.has_ip_syntax()

包装中的笔记本

我们还有一本笔记本放在里面 nb 包，所以让我们确保它也能工作。

ls nbpackage/nbs

请注意， __init__.py 是必需的，因为 nb 被认为是一个包裹，就像往常一样。

show_notebook(os.path.join("nbpackage", "nbs", "other.ipynb"))

from nbpackage.nbs import other

other.bar(5)

因此，现在我们有了本地目录和内部包中的可导入笔记本。

我甚至可以在IPython中放入一台笔记本，以进一步证明这是正常工作的：

import shutil
from IPython.paths import get_ipython_package_dir

utils = os.path.join(get_ipython_package_dir(), 'utils')
shutil.copy(
    os.path.join("nbpackage", "mynotebook.ipynb"), os.path.join(utils, "inside_ipython.ipynb")
)

并从以下位置导入笔记本 IPython.utils

from IPython.utils import inside_ipython

inside_ipython.whatsmyname()

此方法甚至可以导入笔记本中使用 %%cython 魔法。