owncloud,Cmapserver文件存储的默认路径

owncloud的默认文件存储路径是 /var/www/owncloud/data

Cmapserver的默认文件存储路径是 /opt/Cmapserver/serverRootFolder

需要建立两个单独的分区(可以使LVM的逻辑卷,也可以是实际分区,推荐使用前者),来存储这两个文件库。

另外,修改配置owncloud文件允许4G以上大文件的上传。

dell9020主板加独显需要额外电源的问题

Dell9020加显卡,需要额外的6pin显卡电源接口。原装电源不提供额外显卡电源接口。

换电源的话,Dell9020主板不能用通常的电源,其独特的8pin主板供电,使得通常电源的20pin,24pin供电接口都不能用。由于电压配置不一样,也没法通过把20pin改成8pin来实现。

解决方法很简单:买一根sata电源转pci-e电源数据线。当然,不要买功率太高的显卡,要不然290W的原装电源不够用。

其他人对Big Data, Bigger Physics 的表述

大数据不是数据很大,excel表格装不下,mysql数据库要挂,而是利用记录下来的人类生活的各个方面的数据来检验、发展思想,改进技术,从而改变生活方式。很多以前只能够想想、辩论以下的事情,甚至想不到能够做严肃研究的事情,现在可以在大数据的条件下得到研究了。当然,大数据的获得和维护是基础,是很重要的一个方面,但是重要的多的是用大数据研究什么问题,如何开展这样的研究。这个,不是计算机科学家的任务和强项,而是物理学家的任务和专业:从物理系统做到社会、经济、人类行为的系统。这也是我称之为大物理学(Big Physics)的原因。

我们看看,其他有水平的人怎么说。

1.Big Data Needs a Big Theory to Go with It by Geoffrey West in Scientific American

大数据需要大理论

Just as the industrial age produced the laws of thermodynamics, we need universal laws of complexity to solve our seemingly intractable problems.

正像工业化时代催生了热力学,我们需要新的关于复杂性的理论来解决这个看起来不太好对付的新时代。

2.How Big Data Can Transform Society for the Better by Alex Pentland in Scientific American

大数据如何让世界更美好

The digital traces we leave behind each day reveal more about us than we know. This could become a privacy nightmare—or it could be the foundation of a healthier, more prosperous world.

我们留下来的数字面包屑解释的关于我们的信息远远超过我们的估计。这个可能成为一个隐私的噩梦,或者一个更加健康和繁荣的世界的基础。

Today’s cities and governments still operate according to principles developed two centuries ago, during the industrial revolution. To address 21st-century problems such as exploding population growth and climate change, we need new thinking.

Big data can deliver that thinking. The digital bread crumbs we leave behind as we go about our daily lives—which reveal more about us than anything we choose to disclose—provide a powerful tool for tackling social problems.

Alex Pentland’s next book, Social Physics: How Ideas Turn Into Actions will be published in January 2014 by Penguin Press.

Alex Pentland的下一本书:社会物理学:思想如何转变成行动,将在2014年一月由Penguin出版社出版。

安装计算用ubuntu的步骤

1、安装ubuntu桌面版或者服务器版。配置IP地址、机器名、域名等。配置sudo用户帐号。
2、安装计算机硬件驱动,有可能需要ubuntu additional driver,如果遇到broadcom的网卡,还需要特殊处理。通常ubuntu已经为各种硬件做好了准备。
3、调整软件源。在我这里mirror.neu.edu.cn不错,也可以在图形环境下自动选择最快的。
4、自动安装openssh server, chromium或者chrome, p7zip-full, latex (texlive手动安装,否则ctex不能使用), office, filezilla, gnuplot, valgrind, grace, r ($ sudo apt-get install filezilla gnuplot valgrind grace p7zip-full r-base)。必要的话,复制字体文件到~/.fonts/目录下。latex在手动安装之后,需要修改路径,例如export PATH=/usr/local/texlive/2018/bin/x86_64-linux:$PATH或者修改.bashrc文件,或者/etc/enviroment文件。
5、自动安装gcc, g++, gfortran, cmake, build essential ($ sudo apt-get install cmake build-essential gfortran)。
6、手动安装openmpi, mpich (mpiexec)
7、手动安装intel MKL(intel MKL安装脚本相当自动,不需要重新编译,只需要运行sudo ./install.sh
8、手动安装anaconda,以及在anaconda 下面安装igraph, NetworkX
9、手动安装fftw, lapack (lapack+atlas+blas), petsc, slepc, networksX, igraph, xmds2, gsl

手动安装mpich:1)下载和解压mpich。2)进入mpich的解压后目录,mkdir Build,进入Build,configure (../configure --prefix=/opt/mpich --enable-shared 2>&1 | tee c.txt),make(make 2<&1 | tee m.txt),install (sudo make install 2>&1 | tee mi.txt)。3)检验mpiexec是否正确运行。有可能需要加入 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib。

手动安装hydra:跳过,暂时不用。mpich已经默认提供了这个任务管理器。

手动安装openmpi:1)下载和解压openmpi。2)进入openmpi的解压后目录,mkdir Build,进入Build,configure (../configure --prefix=/opt/openmpi ),make (make -j 12 all ), install (sudo make install )。3)检验mpiexec是否正确运行(例如运行, /opt/openmpi/bin/mpiexec -n 3 hostname)。

手动安装MKL(Intel数学核):下载、解压、进入目录,运行sudo ./install.sh,按照提示设置安装路径。使用的时候,要注意编译过程的链接方式(lib,include),可以参考Intel® Math Kernel Library Link Line Advisor

手动安装fftw:1)下载和解压fftw。2)进入fftw的解压后目录,configure (./configure --enable-mpi --prefix=/opt/fftw --enable-shared ),make (make), install (sudo make install )。

手动安装gsl:下载,解压,进入目录,configure (./configure --prefix=/opt/gsl) (默认路径可能与系统安装的冲突)。make(make all), install (sudo make install)。

手动安装atlas+lapack: 1)下载和解压atlas,下载lapack。2)进入atlas的解压后目录,mkdir Biuld,进入Build,../configure -b 64 -D c -DPentiumCPS=3400 –prefix=/opt/atlas –with-netlib-lapack-tarfile=/home/…/lapack-3.5.0.tgz –shared。3) make build, make check,make ptcheck,make time,sudo make install

在安装atlas的时候,可能需要关掉CPU节能模式。这个可以采用修改grub的形式,或者修改/etc/init.d/cpufrequtils 文件。

手动安装anaconda:下载anaconda安装文件Anaconda3-5.3.1-Linux-x86_64.sh,运行安装文件./Anaconda3-5.3.1-Linux-x86_64.sh,考虑到底是系统层面安装还是用户层面安装。系统层面则,考虑安装到/opt/anaconda3,并且设定相应的PATH或者允许anaconda在.bashrc文件里面添加一行代码。安装anaconda之后,需要修改一下软件仓库,例如用清华的TUNA,通过运行如下命令行:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

主语conda虚拟环境最好安装在每一个用户自己的目录下面,尽管anaconda本身是系统层面的安装。如果需要共享虚拟环境可以考虑用分享环境设置文件的方式。尤其是当用具有sudo权限的用户建立虚拟环境的时候,目录的权限有的时候会是一个问题。例如虚拟环境是sudo命令下安装的,但是运行(activate)的时候没有带sudo,就会遇到路径权限的问题。因此,最好每一个用户自己建立自己的虚拟环境。

手动安装igraph:0) 安装igraph依赖的libxml包sudo apt-get install libxml2-dev
1)C-igraph,下载和解压igraph。进入igraph的解压后目录, configure(./configure --prefix=/opt/igraph), make(make), install (sudo make install), 然后需要添加/opt/igraph/lib到LD_LIBRARY_PATH:export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/igraph/lib。为了让系统,例如通过运行pkg-config --libs --cflags igraph,来知道igraph函数库如何链接到其他程序,需要把igraph.pc加入到 PKG_CONFIG_PATH(例如通过在.bashrc里面增加一行export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/opt/igraph/lib/pkgconfig
2)R-igraph,sudo R,然后在R内部运行install.packages(“igraph”)。
3)Python-igraph,交给pip来安装(pip install python-igraph,这个时候需要系统能够通过pkg-config找到igraph)或者手动安装:下载python-igraph,解压,进入目录,修改setup.py文件中igraph的路径(/opt/igraph/include, /opt/igraph/lib),python setup.py build,然后运行 sudo python setup.py install。

Python-igraph也可以单独安装在anaconda下面某一个虚拟环境中,例如igraphNetworkX:1)建立一个anaconda虚拟环境conda create -n igraphNetworkX;2)pip安装python-igraph(pip install python-igraph 3)在此之前,需要修改pip设置来用TUNA pip软件仓库(pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple)。

手动安装networkX:sudo pip install networkX或者在anaconda虚拟环境下安装networkX(source activate igraphNetworkX然后,pip install networkX)。

手动安装torque:下载,解压,进入目录,./configure, make, sudo make install (其中,可能需要安装libssl-dev包,自动安装这个包即可)。如果出现动态库的错误。需要建立一个/etc/ld.so.conf.d/torque.conf的文件,其内容为/usr/local/lib(torque库文件的位置),然后运行ldconfig。安装torque就完成了。下面是配置torque。

配置torque:(没搞定)

手动安装petsc:下载,解压,进入目录,设定参数 PETSC_ARCH(export PETSC_ARCH=real-mkl-debug),然后configure(./configure --with-blas-lapack-dir=/opt/intel/mkl/lib/intel64 --with-scalar-type=real --with-clanguage=c --with-fortran-kernels=1 --download-scalapack=scalapack.tgz --download-superlu=superlu_5.2.1.tar.gz --with-debugging=1 --with-fftw-dir=/opt/fftw --prefix=/opt/petsc/real-mkl-debug --with-mpi-dir=/opt/mpich
)。然后make(make all test或者按照configure结束以后的提示来做), 安装(sudo make install)。–with-debugging=1可以改成0,同时修改PETSC_ARCH=real-mkl-run和修改安装目录–prefix=/opt/petsc/real-mkl-run。类似的,把–with-scalar-type=real改成complex就可以安装用于复数矩阵的petsc。

手动安装slepc:下载,解压,进入目录,设定参数 export PETSC_DIR=/opt/petsc/complex-mkl-debug(petsc安装目录), unset PETSC_ARCH,然后configure(./configure --prefix=/opt/slepc/complex-mkl-debug,make (make all test或者按照configure结束以后的提示来做),安装(sudo make install)。注意,configure完成之后的每一步系统都会给出下一步的提示。随着版本的不同,上面的命令可能会失效,需要按照提示来操作。

手动安装petsc4py: export PETSC_DIR=/opt/petsc/complex-mkl-debug
export PETSC_ARCH=complex-mkl-debug
sudo pip install petsc4py

手动安装slepc4py: export SLEPC_DIR=/opt/slepc/complex-mkl-debug
export PETSC_DIR=/opt/petsc/complex-mkl-debug
export PETSC_ARCH=complex-mkl-debug
sudo pip install slepc4py

这两个软件包,建议由用户安装到用户目录(pip install --user petsc4py slpec4py)。例如jinshanw用户下的SciCalc虚拟环境中就安装了python-igraph, netowrkX, petsc4py, slepc4py,并且能够运行jupyter notebook来使用SageMath

手动安装sprng5:下载,解压,进入目录,./configure –prefix=/opt/sprng5 (默认路径可能与系统安装的冲突)。make all, sudo make install。sprng5的语言是C++。如果你需要在C语言中调用sprng5,后期需要用g++来link。

广义投入产出分析的几个基本问题

第一、传统产出端的分析:如果我们知道下一阶段的新增(或者新降低)的产出向量(由每一个产品或者每一个部门的产量构成)$$\Delta Y^{F}$$,如何求得整个系统总产出向量的变化$$\Delta X^{F}$$?(在这里隐含了假设,原材料投入是无穷的,需要多少有多少)

第二、传统投入端分析:如果我们知道下一阶段的新增(或者新降低)的投入向量(由每一个产品或者每一个部门的接受投入量构成)$$\Delta Y^{B}$$,如何求得整个系统总投入向量的变化$$\Delta X^{B}$$?(在这里隐含了假设,需求是无穷的,生产多少就能有多少进入市场并产生效益)

第三、如何度量部门$$j$$的总影响力:去掉这个部门之后总产出向量或者总投入向量的变化?

第四、部门$$j$$对部门$$k$$的影响力如何度量?

第五、增加投入对产出的影响:仅仅增加部门$$j$$的投入,或者增加一个初始的固定的(可以浪费留着不能突破限制)投入向量,总产出向量如何变化?(在这里原材料投入不再是无穷的。可能需要区分固定配比的生产模式与模糊的生产模式。前者就像化学反应,后者是目前的部门层次的投入产出表)

第六、减少投入对产出的影响:仅仅减少部门$$j$$的投入,或者减少一个初始的固定的(至少减少这么多,可以减少的更多)投入向量,总产出向量如何变化?

第七、增加产出对投入的影响:仅仅增加部门$$j$$的产出(假设需求增加了),或者增加一个固定的(可以增加更多,不能不满足)产出向量,总投入向量如何变化?

第八、减少产出对投入的影响:仅仅减少部门$$j$$的产出,或者减少一个固定的(至少减少这么多,可以减少的更多)产出向量,总投入向量如何变化?

一、二,原始的投入产出分析已经能够回答。三、四,投入产出领域后来发展的HEM能够回答。剩下的问题,传统投入产出分析是否已经回答,还有待进一步了解。

我们新发展的投入产出分析已经能够回答三、四,目前看起来基本能够回答五、六、七、八,是否能够回答一、二尚待研究。

关于开放系统与封闭系统:自然界(原材料)加上人类(劳动力)构成生产系统的投入端,人类(消费)加上自然界(垃圾)构成生产系统的输出端。在开放系统的视角下,自然界与人类的本身的动力学(例如垃圾的自然处理,循环系统,人类本身的生产)不考虑在内,因此,自然界和人类都是这个生产系统的外界。在封闭系统的视角下,把自然界和人类的动力过程内生化,于是整体构成了一个大的生产系统。原则上两种视角是等价的。但是考虑到实际数据和特征时间尺度的问题,往往两种视角取其一。