但行好事，莫问前程

博客

  • 公众号发完100篇文章以后的感想

    不知不觉已经完成了100篇文章，而孚佑健康自己的产品也立项了，值得纪念一下。文章虽然都是摘抄翻译自《Natue》、《Cell》等等期刊和它们的子刊，但是每天至少快速阅读20篇论文、从中选择合适的文章，然后翻译、编辑，虽有AI助力，也是极耗精力的事情。坚持下来，发现仿佛回到在学校做学问的时间，阅读论文的能力、搜索信息的能力还提升了很多。是不是有一点金庸小说中黄裳修道家文献，而自己创出《九阴真经》的感觉？

    回到初心，为什么要做这样吃力又不怎么涨粉的事情？每篇文章动辄大几千、甚至两三万，有些选题还很偏，关注那些没什么阅读量的气候变化，但是我是真心希望这些发生在世界各地的医学、生物学等等学科的技术进展、文章这种科学而实际的态度，能够被更多人看到。毕竟能够直接阅读这些世界上最权威期刊的人，是少之又少，要跨越网络、语言和专业的鸿沟。但是，今天的一段经历刚好说明了这件事情的必要性。

    今天去看望一个朋友，他家里老人得了多发性骨髓瘤，一种恶性浆细胞病，他给我讲了整个过程。一开始，老人觉得胃口不好，看舌苔很厚，找了村里的人帮忙刮痧，没什么好起来，又去药店挂盐水。至于挂的什么，完全说不清楚。挂了两天还是不见好，走路都有些轻飘飘不稳，就让家里人带着去区里的人民医院检查，验了血，发现血红蛋白很低，也就是常说的贫血，安排了住院，做了全面检查，进行了专家会诊，怀疑是肾不好，但是挂了几天盐水，还是没有起效。刚好，有个医生亲戚去看望老人，建议去找省会大三甲的专家查一下，他同学就在那儿当医生，结果对方一看指标，马上说来住院，终于查出了病症，当即开始化疗。

    化疗的费用不低，一周一次，每次要近万元，幸好这个药去年刚刚进了医保。在医院化疗时，边上有人已经化疗十年了，一开始是一周一次，几个月后是两周一次，最后改到一个月一次，那时候药还没有进医保，家里的钱花完了，房子也卖了，有段时间差点坚持不下去，医生帮他想了办法，向其他患者买用剩下多余的药，几个人剩下的药水凑一下，拼到他要用的量，这样便宜很多。

    朋友家里本就条件一般，老人一辈子积蓄也就二三十万，可能都会花在医院里了，而且还不敢让老人知道真实的病和真实的花销，家人想着这些钱如果花完了，就打算卖房子了。然而就在这样的条件下，老人原先还动不动就买了大几千的磁疗床垫、磁疗衣服，还有大几百的羊奶粉等等。老人跟我聊天时，还说磁疗的床垫好啊，能够把像一串葡萄一样粘在一起的血细胞，打散成一个一个的，这样就更通畅健康了。生病期间还接到销售电话，让他去听免费的健康讲座，还有猕猴桃可以拿。

    这可能是数以千万计的人中，普普通通的一个，靠着微薄的养老金省吃俭用，积蓄很少，但是又在健康保健上花了大钱，上当受骗，最后把一生的积蓄甚至房子，花在了医院。生不带来，死不带去。幸好他们还有医保，后来我又建议他们去投保惠民保，还能再多报一部分。这里涉及到的问题太多了，从健康教育、市场规范、医疗保障到医学进步，原研药和仿制药等等，这些，我们都想让更多人知道。

    （原文本打算发表在公众号，思虑再三，作罢）

  • 教育的焦虑

    大女儿要上初中了，不知道哪里来的信息，被拉去听了一个学科培训班的招生讲座。讲座挂着公益的名头，现场人可真不少，家长被带到一个大教室听讲座，教室里座无虚席，还在走廊上加了几个凳子，学生们被带到另一个教室去做测试，按成绩分班。（当然，我没有带上女儿）给家长讲的是培训班负责老师，一开始就把初中描述成洪水猛兽，总体逻辑就是小升初这个暑假没抓紧，初一就跟不上；初一跟不上，后面就步步落后，中考就考不上重高；考不上重高，上不了好大学；上不了好大学，这辈子就没有出头之日了。看她言之凿凿，又殷切的表情，实在是让人感觉事态严重，不得不焦虑。怎么办？应该在小升初暑假就学完初一内容，初二就开始上高中内容，参加竞赛，为高考准备，初三中考前就已经铺好了通向清华北大的坦途！似乎一种上了初中，除了学习，其他活动都是罪恶，会毁了一生的感觉。

    回过头来看大学毕业生就业情况，官方的数据不敢妄议，但是从考研、考公数量，身边走访几个学校的情况，毕业生工资情况，以及网上一些不签三方就不给毕业的新闻，可想而知的难！苦学十数载，毕业仍是干着与上一辈差不多的事情，只是拿更少的工资。企业家精神的缺失、中小企业的艰难，让更多大学生向往着考上公务员、或是进入央企国企，去拿铁饭碗。如果大学里没有研究精神、企业里没有创新能力，何来人才、更哪里有国力？焦虑啊！

    听刚从硅谷回来的几个朋友说到，人工智能突破以后，现在整个硅谷弥漫着投资、创业的氛围，公园里、咖啡馆里，都在谈论新项目、新技术，比当年互联网泡沫时期有过之而无不及。国内经常讨论的一个问题是，中国的人工智能比美国落后多少，众说纷纭。我自己的观点，从技术和工程化角度上说，可能只差半年；但是从基础研究和人才储备上说，至少差10年！为什么是10年，大学、硕士加博士，再加一些实际工作经验，可不就是10年？焦虑啊！

    出去吧？香港、新加坡移民突然就火了，只是能有财力、精力去移民的人，实在不多，毕竟在还有6亿人口人均月收入不足1000的国家内，能每年拿到一两百万的，凤毛麟角。卷不动孩子，也卷不动大人，焦虑啊！

    周末去参加一个青少年领导力的活动，帮忙去拍照，同时仔细观察了青少年们的状态。从基本的生活自理能力、自控能力、纪律性到社交能力和领导力，都存在诸多缺陷，这真的让我更焦虑了！

    最近不知怎得，又回过去看《觉醒年代》，就用陈独秀在《新青年》创刊词上对新青年的六个要求来结束焦虑吧：自主的而非奴隶的， 进步的而非保守的， 进取的而非退隐的， 世界的而非锁国的， 实利的而非虚文的， 科学的而非想象的

  • 读《教育的目的》及一些感想

    怀特海是非常重要的一位哲学家，他提出的历程哲学，强调事物的变化、发展和相互联系。他对教育的观点，处处体现了他的哲学思想。

    怀特海把人生分成三个时期：幼儿期、青春期、大学教育，每时期又分为浪漫阶段、精审阶段、贯通阶段，这三个阶段是不断循环。每个时期应该人都有自己的特点，应该结合不同阶段进行合适的教育。三个阶段分别对应着领悟、积累和贯通，有点像禅宗说的，看山是山、看水是水，到看山不是山、看水不是水，最后回归到看山还是山、看水还是水着三个阶段，但是怀特海更强调这是个不断循环的过程。

    怀特海强调教育的实用性，他反对严格的分科教育，主张各学科之间融会贯通，回到教育的本来目的，也就是找到解决问题的方法。比如，通过勘测一块土地，来学习几何、代数、考虑地质、气候、道路等等情况，了解这些该地区的居民的影响。这样比仅从课本上来的，单调而分割的知识，要有用得多。同样，他提倡技术教育，认为工作能给人带来活力和进步。最近去几个学校参观学习，发现现在的大学生不仅仅是在课堂学习，同样会借助各种机会在社会中实践。以前我们理解的兼职，都是家教、翻译、写文章等等，现在看到很多自媒体、私域，用上了大模型来做文案、有些甚至在学校就已经是百万粉丝的大V了。这些学生毕业以后，走上工作岗位，相信一定会成为适合未来社会的栋梁之材。

    中国大学生面临着强大的就业压力，但是很多行业的很多岗位又招不到合适的人材，我认为，这是教育没有跟上社会经济发展和结构变化的结果。经济发展的结构性变化，一定会从传统的第一第二产业，往第三产业转变。科技发展和人工智能的兴起，会大幅提升农业、畜牧业、工业、制造业、信息产业的人均产能，也就是大量减少这些行业的工作岗位，同时会涌现出大量的第三产业的工作岗位空缺，这些反而是技术进步短期内不能替代的行业，比如家政、护理、餐饮、旅游、文化、教育等等服务产业。虽然这些消费行业的需求还没有被完全激发出来，但是随着经济发展和政策导向，趋势是非常确定的。结合教育来说，让学生有充分的实践经验，有融汇贯通知识来为工作服务的能力，是目前教育亟需解决的问题。

  • 关于资产负债表衰退

    《大衰退——宏观经济学的圣杯》是辜朝明讲日本经济衰退的著作，主要意思是讲日本经济的衰退是因为资产价值暴跌，引起企业负债被动变高，企业失去投资去换取更高利润的动力，改为把利润都用来还清负债。这种情况有几个特点：货币政策失效，再低的利率都无法推动企业扩大投资；企业利润率不错，但是不扩张，GDP仍然保持增长，但是人民的感受并不好。这个解释非常有力，并给出了一个解决的方法：积极的财政政策，让国家来举债拉动投资。虽然书的后半部分，试图把美国30年代经济危机也用这个方式来解释，有点牵强。

    看目前中国经济形势，其实跟日本经济危机非常类似，但是更加复杂。类似的是资产价值下跌，很多城市房地产的价格已经跌去至少30%，看商业地产，最近开始创业，在租办公室，看了很多楼，空的非常多，而且租金比以前下跌幅度巨大。央行放了很多水，但是商业银行贷款放不出去，或者在放出去又空转回到了银行体系，变成储蓄和理财。企业盈利能力保持得不错，GDP仍然在增长，但是失业率居高不下，而且还要增长的趋势。但是中国的经济又面对比当年日本更复杂的情况，一个是中国未富先老，昨天在财新的论坛上，前财政部长楼继伟说，社保基金测算到2035年就会耗尽，而且是在按照2022年开始推行延迟养老的计划上进行的测算。二是地缘政治更复杂，和美国逐步脱钩已经是既成事实，不仅仅是经济问题，更是政治问题、国家存亡问题。三是中国产能巨大，但是国内消费占比过低，不得不依靠输出产能来保持经济增长，新能源和汽车虽然扛起了新一轮的贸易主力，但是和大基建来比，还是差了很多。四是政府债务严重，特别是地方政府债务高，资金利用率低，甚至很多地方政府事实上已经破产。

    这里稍补充一下我的看法，企业不扩大投资，资产负债表是个原因，但更大的原因应是对经济增长的预期。企业即使负债很轻，但是对未来没有好的预期，也会大大影响扩张动力，而如果对经济持续增长有良好预期，企业负债反而不重要，甚至变成优势。中国经济从改革开放以来，还没有经历过一次完整的大周期（40-60年），而毕竟，经济的周期性是客观规律，而经济周期性的背后，还是人们预期的周期性，说到底还是人性。

    当然，中国政府已经开始行动，昨天最大的消息就是央行开始在二级市场购买国债，同步国家发行50年期限的国债。国家发出去的债券，通过商业银行转一下，就可以被央行买下来，国债不愁卖不出去，接下来就看这些资金被投资到什么行业，继续大基建是肯定行不通了，高科技研发才是最值得投入的方向。另一个要亟待解决的问题就是消费能力弱，这里背后有两个问题，一个是民生保障问题，一个是贫富差距问题，如何保障养老和医疗，如果变国富民弱为共同富裕，需要更多的方法。

  • 好多小猫

    其实是测试一下Stable Diffusion XL 支持的style，生成了好多好多，各式各样的小猫，废话不说，直接上图：

    3D Model

    Anime

    Cinematic

    Analog Film

    Comic Book

    Craft Clay

    Digital Art

    Enhance

    Fantasy Art

    Isometric

    Line Art

    Low Poly

    Neonpunk

    Origami

    Photographic

    Pixel Art

    Texture

  • 2024，我们来了

    回顾自己23年初的判断，预测对了疫情的结束、预测对了经济的寒冬，但是没有完成自己立下的读书目标。2023经历了很多，生活和工作也发生了深刻的变化，有机会让我真正看清楚自己，也更看清楚这个社会。

    一个人与这个社会的连接、关系，很大程度上决定了他的角色。当这些连接、关系不断发生变化时，他的角色就会发生变化，这些转变可能是外部引起的，也可能是自我转变引起的。当这些连接、关系发生了突变，他就会经历重新定义自己的过程，这个过程能够让真正的自己，从褪去的外壳中展现出来，每一段这样的经历都是非常宝贵的。人这一生中，恰恰是因为有了这些突变，才让黯淡漫长的生活，变得有意思、更有意义。

    自己过去总是过于相信人的善，遇到过不少挫折，当然也因此收获了一批交心的朋友。这一点可能很难改变，但是更理性地去接受现实、更充分地去准备未来，是一直要努力的方向。

    新的一年里，不去立什么flag了，但行好事，莫问前程！

  • 如何搭建一个基于AI大模型的应用-《Generative AI with Large Language Models》课程摘要

    吴恩达在Coursera上又推出了一个新课程《Generative AI with Large Language Models》，学完以后发现非常不错，有系统性，又有实操性，所以把内容摘要在这里。

    先来个大框架图，看一下搭建一个基于大模型的应用，怎么一步一步来做：

    主要分为下面四个大步骤：确定场景、选择合适的预训练模型、基于应用场景对模型调优、最后模型部署和应用集成

    1，确定场景：

    目前AI应用场景主要包括：内容生成（文本、图片、音视频）、翻译、文本摘要和提取等等

    2，选择合适的模型：

    LLM大体上分成三类：

    Encoder Only Models 又叫 Autoencodind Models，能利用上下文来生成缺失的内容，适合用于文本的情感分类、实体提取和单词分类。这类模型的代表就是BERT

    Encoder Only Models 又叫 Autoregressive Models，它仅根据上文来生成后续内容，适合用于内容生成，这类模型的代表就是OpenAI的GPT、谷歌的BARD和Meta的LLaMA

    Encoder Decoder Models 又叫 Sequence-to-Sequence Modles，它不直接对应上下文的词语，而是使用向量来预测内容，适合语言翻译、内容提取和问答，这类模型的代表包括T5和BART

    关于transformers的更详细介绍，这里就不详细展开了。可以直接参考：Attention Is All You Need

    根据要完成的任务，选择适合的大模型，还要注意模型的参数和精度，参数越多、精度越高，模型一般能力越强，但是成本成本也高，这里就需要平衡。

    3，模型调优：

    接下来是怎么把通用模型做优化，使得在特定场景下能够有更好的表现

    3.1 Prompt engineering：

    第一类方法不改变模型，也不需要训练，仅仅通过prompt里给模型一些提示，来改进模型的输出，所以也叫也叫In-context learning，根据是否在prompt中给输入输出举例，和举例的数量，分为下面几种：

    zero shot：通过prompt本身的一些结构，让模型输出更好的结果，比如：

    one shot：通过在prompt中给个例子，来让模型输出更好的结果，比如：

    few shot：类似的，在prompt中给出多个例子（比如5-6个），来让模型输出更好的结果：

    注意：当模型较小时，prompt工程的效果不会特别好

    3.2 Prompt tuning and fine-tuning

    第二类方法，用专门的数据对预训练好的通用大模型进行调优，一般针对某个任务，专门提供一些样本，来对模型进行训练，针对单个任务进行训练，就是通过标注好的数据集对模型进行进一步调优

    但是这样做会遇到一个问题，就是Catastrophic forgetting，也就是模型会忘记以前的训练结果，针对其他任务，输出结果会变差，有两种方法来避免：

    一种是使用多任务进行调优，叫Multi-task instruction fine-tuning

    就是用多种任务的数据，对模型进行训练，增强模型在不同情况下的表现。

    另一种方法就是Parameter efficient fine-tuning (PEFT)，通过冻结大部分参数，只训练小部分参数来进行：

    或者冻结整个模型的参数，然后在原有模型外增加额外参数来训练：

    来对模型进行调优。

    这里常见的算法就是Low-Rank Adaptation of Large Language Models (LoRA)，原理如下：

    几种方法的效果对比如下：

    可以看到，当模型数量足够大时，几种方法的效果预期差距很小。

    3.3 Reinforcement learning from human feedback (RLHF)

    大模型的结果，经常会碰到输出的内容毫无意义，或者有攻击性、偏见等等情况，这时候就要再用人工标注的数据，进行一次强化学习。

    首先要准备一批人工标注的数据，一般情况下，这样的数据量可能不够，不适合直接用于训练大模型，那就要用这批数据训练一个奖励模型，然后再用这个奖励模型，来对大模型进行训练：

    这里常用的强化学习算法就叫：Proximal Policy Optimization Algorithms (PPO)，这里就不详细展开了。但是，我们会遇到一个问题，模型会过分关注奖励，导致结果不合理，这种情况叫reward hacking。要避免reward hacking，可以计算原始模型和强化学习以后模型输出的结果，把差异特别大的结果，进行额外惩罚。

    同样，我们可以用前面类似PEFT的方法，来替代直接更新所有模型参数，如下所示：

    这里引出一个特别重要的概念，就是AI大模型的监管，如何让AI大模型是对人类有帮助而且无害的，可以参考：Constitutional AI: Harmlessness from AI Feedback

    3.4 模型评价

    针对应用场景，应该有自己的模型评价指标，课程里介绍了几种常用的，包括ROUGE、BLEU等，和常用的Benchmark：SuperGLUE、HELM

    4. 模型部署：

    4.1 模型压缩

    符合要求的模型，在正式部署前，可以做模型压缩，一般有三条路线：

    Distillation是用大模型来训练一个相对较小的模型

    Quantization是降低大模型参数的精度，比如把16bit的浮点数降为8bit的整数

    Pruning是去掉大模型中等于0或者非常接近0的参数

    下面是几种对模型进行优化的方法对比：

    4.2 模型与外部数据的连接

    大模型一般基于公开数据、一定时间以前数据进行训练的，为了让大模型能够使用应用自身的数据、最新的数据，我们要用Retrieval augmented generation (RAG)技术和Agent技术。

    RAG是通过检索外部数据、并向量化，然后传给大模型，来让大模型能够使用特定的数据

    Agent就是通过调用API来使用其他应用的数据或者服务：

    课程中举了Program-aided language (PAL) models和

    4.3 基于大模型的应用架构

    最后来看一下，一个基于大模型的应用的整体架构：

    最底层是基础架构，包括训练和模型调优；上面一般是应用自己的特定数据源、模型本身和用户反馈数据；再上面是大模型工具集合，这个往往是开发工程量最大的部分；再上面就是应用自身的服务，比如网站、App、API等等。

  • 为什么通用大模型是一个会深刻改变世界的技术？

    最近在研究大模型的应用，昨天和几个业内大佬聊天，已经越来越让人感觉到通用大模型会深刻改变我们的工作方式。

    近几年技术热潮是一波又一波，从大数据到云计算、从区块链到隐私计算、从VR到元宇宙，往往是热过一波以后，就迅速退潮。分析下来几个原因：大数据和云计算，有能力参与的企业非常有限（数据成本、存储成本、计算成本），区块链和隐私计算的应用场景太局限，XR则从技术成熟度到应用场景都受限。

    但是这一波通用大模型完全不同，几乎所有应用场景都可以用大模型来重新实现一遍，有点类似于智能手机和移动互联网的诞生。比如办公软件，传统功能大多做到了尽头，上了大模型以后，空间一下子变大了很多，从内容生成到智能摘要；比如数据分析，现在可以直接用大模型进行特征分析甚至输出报告、比如搜索，从单个或者多个关键字的搜索，变成了提出问题，直接得到答案，比如AIGC，图片和音视频内容的生产成本将大幅降低……这样的例子太多了。

    大模型在国内，大公司可以通过训练基础模型，提供平台来获利，中小公司可以通过使用模型在各自擅长的领域内大幅提升产品服务能力来获利。大模型的不断使用，会产生更多的数据、更好的模型，是一个能够自身不断进化的过程。这一波技术能带来的红利，至少能持续20年！

    今天用百度新发布的文心一言也生成了关于大模型的一篇内容，如下：

    文心一言4.0版本

    输入：帮我生成一篇博客文章，主要内容是说，大模型的出现，深刻改变了很多行业。大模型能大大提高人类的工作效率，而且很多企业已经开始用大模型来替代人工，很多产品已经开始用大模型来优化功能

    输出：

    标题：大模型的出现：深刻改变行业格局与提升工作效率

    随着人工智能技术的飞速发展，大模型已经成为了当下最热门的话题。它们的出现正在深刻地改变许多行业，为企业带来了前所未有的机遇和挑战。本文将探讨大模型在各行业中的应用，以及它们如何大幅提高人类工作效率，从而推动企业用大模型替代人工，优化产品功能。

    一、大模型在各行业中的应用

    大模型凭借其强大的处理能力和卓越的性能，在各行各业中取得了显著的应用成果。以下是几个典型例子：

    1. 智能客服：大模型能够充分理解用户的提问，为用户提供准确、快速的解答，提高客户满意度。
    2. 广告推荐：通过分析用户的兴趣和行为，大模型可以精确地为用户推荐相关广告，提高广告点击率和转化率。
    3. 舆情监测：大模型可以实时分析网络上的舆论趋势，帮助企业及时发现并应对危机公关。

    二、大模型的优势和不足

    大模型具有以下优势：

    1. 处理能力强：大模型能够处理海量的数据，从中挖掘出有价值的信息。
    2. 性能卓越：在许多任务中，大模型的表现已经超越了人类。

    然而，大模型也存在一些不足：

    1. 训练成本高：大模型的训练需要大量的计算资源和时间，成本较高。
    2. 处理能力有限：尽管大模型处理能力很强，但在某些特定任务中，仍可能无法满足实时性要求。

    三、大模型在各行各业的具体应用案例

    1. 智能家居：通过大模型分析用户的家居使用习惯，实现智能设备自动化控制，提升家居生活的便捷性和舒适度。
    2. 医疗诊断：大模型可以帮助医生分析医学影像数据，提高诊断准确性和效率。
    3. 金融分析：大模型可以应用于风险评估、投资策略等领域，为金融机构提供有力的决策支持。

    四、总结与展望

    大模型的出现无疑为各行各业带来了巨大的变革，它们不仅大幅提高了人类的工作效率，还在很大程度上改变了我们的生活方式。随着技术的不断进步，我们有理由相信，大模型将在未来持续发挥重要作用，为企业和社会带来更多的价值。同时，我们也应关注到大模型带来的挑战，如训练成本、处理能力等方面的限制，以及在使用过程中如何确保安全性和隐私性等问题。通过不断研究和创新，我们将能够克服这些挑战，让大模型更好地服务于人类社会，推动各行业的持续发展。

  • 石家庄

    石家庄妥妥的物资中转中心

  • 西安扫街

    无主题扫街