Just for Life.

继上次了解完信息熵后，没想到在对抗训练中又回到了损失函数的分析上。torch实现的有点迷惑，正好趁这次机会，连着代码和公式好好推导下。这种损失的优缺点日后会放上来，主要取决论文进度。

好久不更新生活类的博客了，正好最近该忙的都忙完了，下一波 deadline 还早，其实也就一周，忙里偷闲写篇博客。

前阵子写了个集群计算资源监控程序，我觉得架构设计的还行，于是来整理成一篇博客。内容只有架构，不含代码，因为自己的实验室要用。利益相关，人在美国，刚下飞机，懂的自然懂，匿了匿了。

一个好的搜索引擎是现如今面向互联网编程的重要工具。而pagerank是曾经谷歌用来确定搜索引擎网页排名的算法，算法足够简洁且实用，且采用集群进行分布式计算而不是小型机的方法，给当时的网页排名带来了革命性突破。如果你实在看不懂理论部分如何处理的，就想当初的我一样。建议好好看一下代码，一目了然。

每天一点点算法开始了，为什么我就写不出很爽的代码。今天被邀请去水了一场类似ACM的程序设计竞赛，他说是期末考试难度，结果那个难度……题目只做出了一半，剩下的实在是…….出题人的语文水平太差了，没交代清楚题要干什么，很多细节描述的模棱两可。如果你考我程序设计，我没问题；通过模糊的信息表达来考察语文理解能力就没意思了，为啥不多打几个字把问题交代清楚呢？为节省空间，本文压缩了某些代码，实际工程切勿模仿。

之前一直在看他们用『因果扩张卷积』这个东西，当时我只看到了一张图，大概了解了那是个什么东西。今天，在某次比赛中用到了这个模型，顺手看了下源代码，来做个整理。

本文以 pytorch 为框架，分别从数据并行训练的方法(DataParallel, DistributedDataParallel)、并行加载数据两个角度，阐述了本次实验中并行算法的设计思想，并对并行实现的原理进行了解析，包括多进程的工作流程和通信方法等。语言这么正规的原因是：这是从大作业里面摘出来的。神经网络那部分我就不写了，跑题，最后直接给代码。