西安交大学生微创营 西北微创营在西安交大举办
本报西安3月26日电（中青报・中青网记者?孟佩佩）“利用北斗技术和卫星导航定位功能，我们研发了数字化养蜂设备。”日前，来自西北农林科技大学的创业青年唐伟杰，在广发证券大学生微创业行动西北区微创营的案例分享环节中介绍，在高科技设备从实验室走向应用的过程中，“普通农户有很多担心，我们需要在实际应用过程中逐步调整推广方案”。
在为期3天的活动中，这样探讨交流的场景不断发生。3月26日下午，微创营总结会在西安交通大学举行。中国青年报社党委常委、副总编辑、KAB全国推广办公室总干事董时，西安交通大学校长助理、材料学院院长单智伟，广发证券总经理助理、广发证券社会公益基金会理事、秘书长谭舜等嘉宾出席活动，并为优秀项目颁发证书。
此次微创营以“科技创新与成果转化”为主题，参加项目涵盖农业科技、新材料、新技术等创新领域。来自西安交通大学、西北工业大学、西安电子科技大学等12所高校的21支创业团队参加活动。经过商业模式画布打磨及路演展示，“智锂科技”“脑机接口智能康复整体解决方案”“纳科聚能”“纳浮科技”“数字蜂巢”“智能光伏检测解决方案”“瓦印”和“绿野田畴”8个创业项目脱颖而出。
活动中，中国青年报社有关负责人表示，从国家知识产权局发布的《2022年中国专利调查报告》可以看出，当前科技创新技术成果转化率不够高，也缺乏足够的将科技成果转化落地的人或企业。“加快科技成果转移转化，对于实现高水平科技自立自强至关重要，需要高校、企业、投资机构、科技中介、政府相关部门等形成合力、协同创新。我们非常愿意与广大青年创客、广大社会力量共同努力，推动产学研深度融合、提高科技成果转化水平。”
单智伟表示，大学生创业者是科技创新创业领域的青年佼佼者，是时代的弄潮儿，在充满希望的新时代，施展才干的舞台无比广阔，实现梦想的前景无比光明。青年如何在创新创业浪潮中善作善成，他希望同学们把个人创新创业实践与国家的科技发展、经济繁荣、社会进步结合起来。
谭舜认为，作为青年创业者，如何面对和化解创业初期发展的问题，获得专业的指导、经验，联系对接资金，都是实实在在的“刚需”。广发证券不断思考和探索，发挥专业优势给青年创业者扶持和指导，为对接天使投资、风投资本提供平台和专业的金融服务，帮助创业青年实现梦想。“我们希望广大青年胸怀理想信念、热爱创新创业、善于学习实践，不断提高适应时代发展需要的素质和能力。”
本次活动旨在为大学生创业者提供项目路演、创业实训和资源对接，促进科技成果走出实验室，与市场对接，最终实现科技成果的成功转化和落地。高校专家、投资人、青年创业典型等10余人，围绕科技成果转化，通过破冰、创业大讲堂、青年创业案例分享、商业画布培训、风投专题培训、项目路演等模块内容，对参训营员进行了专题培训与交流。
据了解，本次活动由西安交通大学、KAB全国推广办公室、上海证券交易所公益基金会、广发证券社会公益基金会联合举办，并得到了广发证券股份有限公司、中国青年报社等单位支持。
来源：中国青年报
来源：中国青年报客户端
大佬联手封印AI，号召暂停强人工智能研发（附公开信全文翻译）
大佬封印解除之后今天，著名安全机构生命未来研究所（Future of Life Institute，FLI）发布了一封公开信，信中呼吁全球所有机构暂停训练比GPT-4更强大的AI至少六个月，并利用这六个月时间制定AI安全协议。
截至本文发稿时，已有1125人在公开信上签名附议，其中包括特斯拉CEO伊隆・马斯克，图灵奖得主约书亚・本吉奥，以及苹果联合创始人史蒂夫・沃兹尼亚克。
签名人数还在持续增加中。
这封信的言辞十分激烈。
信中称，我们目前开发的高级人工智能正在对人类社会造成威胁，各大AI实验室之间的竞争已经失控，然而，包括AI的创造者在内，没有人能理解、预测或可靠地控制它们。
“我们是否应该把所有工作都自动化，包括那些有成就感的工作？我们是否该开发机器大脑，让它们比人脑还多，比人脑还聪明，最终淘汰我们取代我们？我们是否应该冒文明失控的风险？”信中诘问道。
这些问题已经摆在我们面前，但我们没有做好准备。
因此，这封公开信呼吁所有人立即暂停AI研究至少六个月，然后加速制定安全协议，此外，AI研究和开发应该更关注准确性、安全性、可解释性、透明度、鲁棒性、可靠性和忠诚度。
公开信的全文翻译如下：
停止大型AI实验：一封公开信
我们呼吁所有实验室立即停止训练比GPT-4还要强大的AI系统至少六个月。
和人类智能相近的AI系统会为社会和人类带来极大风险，广泛的研究已经证明了这一点[1]，顶尖的AI实验室也已经承认[2]。正如Asilomar AI原则所指出的那样，“高级AI可能意味着地球生命史上的深刻变革，我们应当投入可观的关注和资源对其进行规划和管理”。不幸的是，这种规划和管理没人去做，而最近几个月，AI实验室正在开发和部署越来越强大的数字思维，这种竞争逐渐失控――包括它们的创造者在内，没有人能理解、预测或可靠地控制它们。
如今，AI系统在一般任务上已经具备了与人类竞争的能力[3]，我们必须自问：是否该让信息渠道充斥着机器写就的宣传和谎言？是否应该把所有工作都自动化，包括那些有成就感的工作？是否该开发机器大脑，让它们比人脑还多，比人脑还聪明，最终淘汰我们取代我们？是否应该冒文明失控的风险？这样的决定绝不能委托给未经选举的技术领袖来做。只有当我们确信强大的AI系统是积极的、风险是可控的，才应该继续这种开发。而且AI的潜在影响越大，我们就越需要充分的理由来证明其可靠性。【【微信】】最近关于人工通用智能的声明指出，“到了某个时间节点，在开始训练新系统之前可能需要进行独立审查，而用于新模型的计算的增长速度也应加以限制”。我们深深认同这份声明，而那个时间点就是现在。
因此，我们呼吁所有正在训练比GPT-4更强大的AI系统的实验室立即暂停训练，至少暂停6个月。实验暂停应该对外公开，可以验证，并涵盖所有关键的实验室。如果不能迅速实施，政府应该介入并发布禁止令。
在暂停期间，AI实验室和独立学者应针对高级AI的设计和开发共同制定实施一套共享安全协议。这份协议的审计和监督应由独立的外部专家严格执行，确保AI的安全性不超过合理的怀疑范围[4]。这并不意味着我们要暂停人工智能的总体发展，而只是从目前这种会不断涌现出具有新能力的、不可预测的黑匣子模型的危险竞赛中退后一步。
人工智能的研究和开发应该重新聚焦于优化最先进的系统，让它更加准确、安全、可解释、透明、稳健、一致、值得信赖、对人类忠诚。
与此同时，AI开发人员必须与决策者合作，大力推进强有力的AI治理系统的发展。这个系统至少应包括：针对AI的新型监管机构；对高能力AI系统的监督追踪和大型算力池；帮助区分真实数据与AI生成的数据、并且追踪模型泄漏的溯源和水印系统；强有力的审计和认证生态系统；对AI造成的损害定责；用于技术AI安全研究的强大公共资金；应对AI可能会引发的巨大经济和政治动荡（尤其是对民主的影响）的有充足资源的机构。
人类可以和AI共创繁荣未来。我们已经成功地创建了强大的AI系统，现在我们可以享受“AI之夏”，在这个过程中，收获回报，设计监管系统，造福所有人，并给社会一个适应的机会。我们已经暂停了其他可能产生灾难性影响的技术，对于AI我们也应如此。
让我们享受一个长长的AI之夏，不要毫无准备地冲入秋天。
多位专家学者在公开信上签名附议
这封公开信的部分签名者如下：
Yoshua Bengio，蒙特利尔大学，因对深度学习的开发获得图灵奖，蒙特利尔学习算法研究所所长。
Stuart Russell，伯克利计算机科学教授，智能系统中心主任，标准教科书《人工智能：现代方法》的合著者。
伊隆・马斯克（Elon Musk），SpaceX、Tesla和Twitter的首席执行官。
史蒂夫・沃兹尼亚克（Ste【【微信】】），苹果联合创始人。
Yu【【微信】】，作家和耶路撒冷希伯来大学教授。
Emad Mostaque，【【微信】】 首席执行官。
Connor Leahy，Conjecture 首席执行官。
Jaan Tallinn，Skype 联合创始人，生存风险研究中心，未来生命研究所。
E【【微信】】，Pinterest 联合创始人。
Chris Larsen，Ripple 联合创始人
John J Hopfield，普林斯顿大学名誉教授，联想神经网络的发明者。
公开信是谁写的？有什么用？
这封公开信是由生命未来研究所（FLI）于今天发布在官方网站上的。这个名字听起来有点中二的组织其实早在2014年就已经成立，团队的目标是引导变革性技术远离极端、大规模的风险，转向造福生活。
FLI主要关注四大风险：人工智能、生物技术、核武器、气候变化。人工智能也不算是什么新“威胁”，它早就是FLI的研究方向之一。马斯克甚至向这个机构捐赠了1000万美金以支持他们调查人工智能的潜在缺陷。
公开信则是生命未来研究所的一种呼吁性文件。
当涉及到新兴技术及其风险时，FLI认为科学家需要发出自己的声音。联合签署公开信正是一个可以引起大家关注的方式，可以促进相关话题的对话和交流。
这个团队所做的事情不只是呼吁。2017年，FLI组织了一次关于人工智能的会议，大家围绕着相关话题讨论并通过了阿西洛马人工智能原则（Asilomar AI Principles）。这份原则的23项条款里涉及到人工智能的发展问题、伦理和指导方针。
不过这个组织也受到了不少批评。有媒体认为这种公开信缺乏对具体技术的讨论，只是搞了一个吓唬人的标题来博取关注，这甚至让大众产生了“AI恐慌”。
值得一提的是，提交公开信签名需要经过人工审核，但这次的签署人中短暂地出现了【【微信】】首席执行官山姆・阿尔特曼的名字，让人们感到费解。不过目前该名字已经从网页移除，山姆・阿尔特曼本人也并未对此事发表任何看法。
所有的签名在展示前都会经过人工审核。｜futureoflife.org
意外乌龙还是博人眼球，我们很难去还原这其中的纠葛。
有人调侃道：你永远不能把呼唤出来的精灵再塞回壶里去。AI发展至今，我们很难通过阻止来暂停它继续迭代，而各类伦理和政策的跟进又很滞后，成了当下的棘手问题。
自2014年以来，联合国就针对致命自主武器系统（亦称“杀手机器人”）的开发进行了国际辩论。2017年，马斯克更是联名发布公开信，呼吁顶级人工智能和机器人公司敦促联合国对致命自主武器采取行动。
如今，GPT一次又一次震撼世界，而对于它未来的应用，人们更是充满了想象。但在不同的应用场景下，人们还会继续争论如何保证人工智能仅被用于“向善”的问题。
参考文献
[1]Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).
Bostrom, N. (2016). Superintelligence. Oxford Uni【【微信】】.
Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129).
Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.
Christian, B. (2020). The Alignment Problem: Machine Learning and human 【【微信】】. Norton & Company.
Cohen, M. et al. (2022). Ad【【微信】】ts Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293).
Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.
Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.
Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.
Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. 【【微信】】.
Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.
Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.
[2]Ordonez, V. et al. (2023, 【【微信】】). 【【微信】】 CEO Sam Altman says AI will reshape society, acknowledges risks: 'A little bit scared of this'. ABC News.
Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.
[3]Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.
【【微信】】 (2023). GPT-4 Technical Report. arXiv:2303.08774.
[4]【【微信】】xists C for example, the widely adopted OECD AI Principles re【【微信】】 "function appropriately and do not pose unreasonable safety risk".
[5]Examples include human cloning, human germline modification, gain-of-function research, and eugenics.
[6]An Open Letter To E【【微信】】aring Artificial Intelligence. https://www.popsci.com/open-letter-e【【微信】】ing-ai/
[7]联合国与致命自主武器系统. https://www.unesco.org/zh/articles/lianheguoyuzhimingzizhuwu【【微信】】
[8]Open Letter to UN. KILLER ROBOTS: WORLD'S TOP AI AND ROBOTICS COMPANIES URGE UNITED NATIONS TO ACT ON LETHAL AUTONOMOUS WEAPONS. https://www.cse.unsw.edu.au/~tw/ciair/letter.html
作者：翻翻、Owl
公开信翻译：李小雅，ChatGPT
编辑：翻翻、奇奇
封面图来源：W.carter/维基百科
一个AI
是谁杀了我，而我又杀了谁！
