Python on Eryk's Blog

使用pycharm远程部署运行python程序

Sat, 06 Mar 2021 16:55:00 +0000

通常我使用笔记本电脑编写程序代码，而数据采集是由一台服务器进行，为了方便开发调试，需要把程序部署到服务器上运行。这时候就用到了pycharm的远程部署调试功能。

Pandas缺失值可视化分析模块：missingno

Sun, 27 Dec 2020 22:53:00 +0000

missingno提供了一个灵活且易于使用的丢失数据可视化工具和实用程序的小型工具集，使您可以快速直观地概述数据集的完整性（或缺乏完整性）。只需pip install missingno就可以开始使用了

Pandas MultiIndex索引使用问题

Sun, 13 Dec 2020 16:54:00 +0000

关于MultiIndex的资料并不太多，官方文档链接请点这里查看。

最近在使用MultiIndex时遇到的一个问题，先描述一下数据格式。我使用MultiIndex DataFrame来存储股票未来N天的收益率，变量命名为returns，数据样例如下，columns 1d和5d分别表示未来1天和5天的股票收益率，index为MultiIndex，第一级索引为日期，第二级索引为股票代码。

一个Pandas索引生成的小问题

Wed, 09 Dec 2020 17:13:00 +0000

今天遇到一个Pandas索引生成的问题，需要根据股票日频数据生成1分钟间隔的index，想了3个方法来生成：

方法1: 如果有1分钟bar数据的话可以直接读取数据获取index值，可惜没有哈

OpenStack公共组件TaskFlow介绍

Sat, 08 Feb 2020 23:13:00 +0000

TaskFlow 是一个以高度可用，易于理解和声明试方式来执行[作业，任务，流程]的库，可与OpenStack和其他项目一起使用。

基本概念

taskflow库在oslo项目中是一个实现比较复杂的项目，要弄清楚其实现原理，首先需要对其中的相关概念有所了解。所以，本文首先总结了taskflow中常用的一些基本概念，这些概念主要包括如下几个：

将DataFrame内存大小减少约65％

Wed, 05 Jun 2019 10:48:00 +0000

这篇文章原文出自kaggle，我大致翻译翻一下，文中给出了reduce_mem_usage方法可以用来自动缩减dataframe占用空间

这篇notebook展示了通过使用更合理的数据类型来减少dataframe的内存使用量

Pandas hdf5使用指南翻译

Wed, 08 May 2019 21:51:00 +0000

读写API

HDFStore支持使用read_hdf进行读取和使用to_hdf进行写入的top-level API，类似于read_csv和to_csv的工作方式。

Multiprocessing Pipe和Queue性能测试

Mon, 22 Apr 2019 10:47:00 +0000

我的微信公众号：pyquant

背景

开发股票行情推送的引擎时遇到一个问题，在9:30开盘后的一段时间内行情消息总是堆积，尤其是开头15-20分钟，堆积的数据量会越来越多，经过debug发现是内部消息传输使用Queue性能问题导致了消息延迟，在stackoverflow上找到一个帖子对Queue的性能进行了测试和解释说明，下面先来介绍下Multiprocessing下的Queue和Pipe

Python异常处理伴侣 -- tenacity模块使用介绍

Wed, 19 Dec 2018 11:15:00 +0000

我的微信公众号：pyquant

在写代码时经常会遇到对抛出异常的代码进行重试，常见于网页爬虫的代码中，使用计数器 + 循环的方式对抛出异常的代码进行捕获和重试。tenacity是使用Python装饰器模式对方法异常进行捕获，通过灵活的参数实现简单优雅的异常重试。

python编译打包pyc脚本

Fri, 27 Oct 2017 12:18:00 +0000

cd $1
python3 -O -m compileall .
find . -name '*.pyc' -exec rename 's/.cpython-36.opt-1//' {} \;
find . -name '*.pyc' -execdir mv {} .. \;
find . -name '*.py' -type f -print -exec rm {} \;
find . -name '__pycache__' -exec rmdir {} \;
zip -r ../$1.zip ./*

转自：https://my.oschina.net/bfbd/blog/864310

jupyter-notebook启动报错

Mon, 23 Oct 2017 10:32:00 +0000

执行启动命令如下：

`1`	`nohup jupyter-notebook --ip=127.0.0.1 --port=8801 --notebook-dir=/home/eryk/jupyter_home &`

错误信息如下：

`1`	`PermissionError: [Errno 13] Permission denied: '/run/user/1000/jupyter'`

解决办法：

`1`	`unset XDG_RUNTIME_DIR`

参考： https://github.com/jupyter/notebook/issues/1318

anaconda添加第三方源

Sat, 19 Aug 2017 15:42:36 +0000

Anaconda 是一个用于科学计算的 Python 发行版，支持 Linux, Mac, Windows, 包含了众多流行的科学计算、数据分析的 Python 包。

Anaconda 安装包可以到 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 下载。

TUNA 还提供了 Anaconda 仓库的镜像，运行以下命令:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

conda config --set show_channel_urls yes

说明：

python装pymssql时遇到error: command 'gcc' failed with exit status 1

Thu, 17 Aug 2017 16:15:54 +0000

执行命令:

`1`	`pip install pymssql`

报错信息如下：

  Running setup.py install for pymssql ... error
    Complete output from command /home/lthpc/anaconda3/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-cpwncwyq/pymssql/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-4l_hdx9q-record/install-record.txt --single-version-externally-managed --compile:
    setup.py: platform.system() => 'Linux'
    setup.py: platform.architecture() => ('64bit', 'ELF')
    setup.py: platform.linux_distribution() => ('debian', 'stretch/sid', '')
    setup.py: platform.libc_ver() => ('glibc', '2.2.5')
    setup.py: Not using bundled FreeTDS
    setup.py: include_dirs = ['/usr/local/include']
    setup.py: library_dirs = ['/usr/local/lib']
    running install
    running build
    running build_ext
    cythoning _mssql.pyx to _mssql.c
    warning: _mssql.pyx:143:4: Exception already a builtin Cython type
    building '_mssql' extension
    creating build
    creating build/temp.linux-x86_64-3.6
    gcc -pthread -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -fPIC -I/usr/local/include -I/home/lthpc/anaconda3/include/python3.6m -c _mssql.c -o build/temp.linux-x86_64-3.6/_mssql.o -DMSDBLIB
    _mssql.c:435:22: fatal error: sqlfront.h: No such file or directory
    compilation terminated.
    error: command 'gcc' failed with exit status 1

google得到以下解决办法：

我的jupyter插件列表

Sun, 13 Aug 2017 16:25:19 +0000

jupyter notebook extensions 安装

pip方式安装

pip install jupyter_contrib_nbextensions

或者通过github master branch安装

pip install https://github.com/ipython-contrib/jupyter_contrib_nbextensions/tarball/master

Conda方式安装

conda install -c conda-forge jupyter_contrib_nbextensions

通过github 仓库安装

1
2

git clone https://github.com/ipython-contrib/jupyter_contrib_nbextensions.git
pip install -e jupyter_contrib_nbextensions

常用插件列表

全部jupyter插件列表在这里：

pandas使用pivot时遇到Index contains duplicate entries, cannot reshape

Thu, 10 Aug 2017 16:54:53 +0000

原始数据样例如下：

date        code    count
20170801    000001      10
20170802    000002      20
20170803    000001      30

使用pivot处理数据，命令如下：

df.pivot(index=‘date’,columns=‘code’,values=‘count’)

执行后报错信息：

ValueError: Index contains duplicate entries, cannot reshape

说明column有重复信息，使用如下命令检查重复列内容：

使用https方式连接jupyter

Wed, 09 Aug 2017 09:15:37 +0000

生成jupyter配置文件:

jupyter notebook –generate-config

注意：generate前是两个"-"，不知道为什么markdown里是两个，显示的时候成一个了