• 博客访问:2313
  • 博文数量: 197
  • 用 户 组: 普通用户
  • 注册时间:2019-07-18
  • 认证徽章:
个人简介

泉州新闻广角

文章存档

07-17(5436)

07-13(4094)

07-14(5862)

07-18(9064)

上海港澳资讯 2019-07-18

分类: 郑子岳

上海港澳资讯

深度强化学习中的好奇心

    本文是AI研究所编写的一个技术博客。最初的标题是《深层强化中的好奇心》。

    本文是AI研究所编写的一个技术博客。最初的标题是:

    深度强化学习的好奇心

    作者|迈克尔·克莱尔

    翻译|缩写2018

    校对|酱梨涂饰|菠萝女孩

    链接到原始文本:

    Http://towardsdata..com/holio.-in-.-.ment-.-.-.-network-.llation-747b322e2403

    深度强化学习中的好奇心

    早期密集学习的困难任务之一,Montezuma的复仇,在探索随机网络蒸馏方面取得了重大突破(来源:Parker兄弟博客)。

    Atari游戏是深层强化学习(RL)算法的一个流行的基准任务。Atari很好地平衡了简单性和复杂性:一些游戏(如Pong)是如此简单,以至于它们可以通过基本算法(如一般策略梯度)来解决,而其他游戏则足够复杂以至于可以击败甚至最先进的算法。

    在最简单和最复杂的游戏之间的一系列有用的任务已经成为许多深入加强学习研究论文的核心。

    来自OpenAI博客。

    前者“未解决”的阿塔里游戏,蒙提祖马的复仇,最近已经解决了一个算法(在某种程度上),可以在得分上超过人类表现。研究人员可以鼓励代理人在1级探索不同的房间,这是赢得游戏积分的好方法。

    通过好奇心探索

    人类在玩冒险游戏时有一种内在的探索欲望,比如蒙提祖玛的复仇。游戏设计者构建这样的游戏来鼓励这种行为,通常需要玩家在继续游戏之前进行探索。这就是为什么冒险游戏很有趣。(问任何喜欢玩天空游戏的人。)

    像Montezuma的《复仇》或《天空》这样的冒险游戏充分利用了玩家探索的自然欲望,使得探索成为游戏任务的关键部分。

    深度强化学习算法执行“探索”的典型方法是通过随机策略:从神经网络提供的动作似然分布中随机采样动作。因此,特别是在早期阶段(当策略没有时间收敛时),它是随机行动的明显选择。

    这种方法在某些情况下是有效的。例如,Pong的解决方案是随机旋转桨并观察结果。幸运的是,球偏转可以启动优化。

    在像蒙特祖马的复仇游戏中,这种方法是不可行的。想象一下,从游戏的开始,化身随机地左右移动,随机地跳跃。结果,化身掉进熔岩中或直接进入敌人而没有获得点数。没有积分或奖励,算法无法得到优化的信号。

    那你会随便甩一甩吗?祝你好运。

    好奇

    重点放在寻找更好的探索方法上。基于好奇心的探索可以看作是激发人类玩家好奇心的一种尝试。

    但是,我们如何创建一个好奇的代理呢?

    有很多方法可以实现这个想法。其中之一,甚至使用下一个状态预测,由于其简单性和可伸缩性而很有趣。

    其基本思想是同时培养独立的预测模型和策略模型。预测模型输入所观测到的当前状态和所选择的动作,并对下一次观测进行预测。

    为了探索足够的轨迹,我们假设损失很小(因为我们通过监督学习不断开发预测模型);对于探索不足的轨迹,我们假设损失很大。

    那么,我们能做的就是创建一个新的奖励函数(称为“内在奖励”),它提供与预测模型的损失成比例的奖励。因此,当探索新的轨迹时,代理接收到强烈的奖励信号。

    (a)一级学习探索(b)二级快速探索

    使用马里奥模拟器任务(来源)中的下一个预测,学习探索从第一级的好奇心转移到第二级的快速探索。

    这项技术在超级马里奥模拟器中产生了一些令人鼓舞的结果。

    拖延症代理人:电视问题

    这项技术并不完美。一个已知的问题是代理被环境中的随机或噪声元素所吸引。这种时钟情况有时被称为“白噪声”问题或“电视问题”;也称为“拖延”。

    为了证明这种效果,设想一个代理人通过观察他所看到的像素来学习在迷宫中导航。

    下一状态预测引起代理人学习成功导航迷宫的好奇心。

    代理人很好地完成了任务;他开始寻找迷宫中未被探索的部分,因为他有能力在探险丰富的地区做出好的预测(或者换句话说,他不能在未开发地区做出好的预测)。

    现在在迷宫的墙上放一个“电视”,快速连续地显示随机选择的图像。由于图像的随机来源,代理不能准确预测接下来会出现什么图像。该预测模型将产生高损耗,从而为代理商提供高“内在”回报。最终的结果是,特工们倾向于停止看电视,而不是继续探索迷宫。

    在环境(源)中,当代理人面对电视或随机噪声源时,下一个状态预测引起代理人的好奇心,最终导致“拖延”。

    为了避免延误,采用随机网络蒸馏。

    OpenAI的一些优秀人员最近发表了一篇论文,提出了噪声电视问题的解决方案,探讨了随机网络蒸馏(RND)。

    这里的新思想是将类似的技术应用到下一个状态预测方法,但是消除对先前状态的依赖。

    下一状态预测相对于RND(源)的概述。

    RND并不预测下一个状态,而是观察下一个状态并试图预测下一个状态。这是一个非常微不足道的预测,不是吗?

    RND随机网络的目的是采用这种小的预测任务,并将其转化为硬预测任务。

    使用随机网络

    这是一个聪明但违反直觉的解决方案。

    其思想是我们使用随机初始化神经网络将观测值映射到潜在的观测向量。函数本身的输出并不重要;重要的是,我们有一些未知的确定性函数(随机初始化的神经网络),以某种方式转换观测值。

    因此,我们的预测模型的任务不是预测下一个状态,而是预测给定观测状态的未知随机模型的输出。我们训练该模型使用随机网络输出标签。

    当代理处于熟悉的状态时,预测模型应该能够很好地预测随机网络的期望输出。当智能体对状态不熟悉时,预测模型会对随机网络的输出做出较差的预测。

    通过这种方式,我们可以定义一个内在的奖励函数,它再次与预测模型的损失成比例。

    内部报酬计算的概念概述。只使用下一个观察状态。

    这可以解释为“新奇性检测”方案,其中当进行新的观测或不熟悉的观测时,预测模型具有较高的计算损失。

    作者使用MNIST作为这个概念的证明。在本实验中,他们通过随机初始化神经网络提供MNIST样字符。然后,在给定的输入条件下,它们训练并行网络来预测随机网络的输入。如预期,当目标类的训练样本数量增加时,它们将看到目标类被并行网络丢失。

    数据2:MNIST上的新奇性检测:预测器网络模拟随机初始化的目标网络。训练数据包括不同比例的图像和目标类别与“0”类别。每个曲线都表示MSE测试显示的目标类的训练用例的数量(对数)。

    论文对MNIST概念进行了验证。

    这样,当代理看到随机噪声源时,它不会被卡住。它不需要试图预测屏幕上下一个不可预测的帧,只需要知道这些帧是如何通过随机网络转换的。

    探寻蒙太祖玛的复仇

    由于解决方法不佳,以往的状态预测的好奇机制并不能解决蒙台梭玛的复仇问题,但RND似乎已经克服了这些问题。

    好奇心驱使的代理人探索房间,学习收集钥匙,这样他们就可以打开新房间。

    尽管取得了这样的成功,但是代理仅“偶尔”通过了一级。这是因为通过最后一道门来完成检查点,需要严格管理密钥的使用。需要内部状态模型(如LSTM)来克服这一障碍。

    因此,虽然RND已经允许代理人在得分上超过一般人的表现,但是在掌握游戏之前还有很长的路要走。

    这是关于深度强化学习算法的实验的一系列文章的一部分。查看本系列以前的一些帖子:

    理解演进的战略梯度。

    感谢卢多维奇·本尼斯坦特。

    要继续查看本文的链接和参考资料吗?

    长时间点击链接打开或点击底部[好奇心在深度强化学习]:

    Http://ai.yanxishe.com/page/Text./1363

    AI协会每天更新精彩内容,观看更多精彩内容:雷锋网、雷锋网和雷锋网。

    五大CNN架构

    深度强化学习中的好奇心

    使用Pytorch进行深度学习(第一部分)手柄:使用PyTorch实现图像分类器(第二部分)

    等待您翻译:

    如何为初学者聚类混沌数据以使用Keras进行迁移学习增强学习:对于情绪行为系统,如果你想学习数据科学,这七个资源不能错过

当前文章:http://www.tslianqiang.com/ds1/120812-293880-34818.html

发布时间:00:09:09

广州设计公司  广州工业设计  二四六彩  工业设计  广州设计  易用设计  广州产品设计  产品设计  广州设计公司  产品设计  广州产品设计  

{相关文章}

一个“原始部落”的千年跨越

    新华社昆明12月26日电 题:一个“原始部落”的千年跨越  新华社记者周亮、王长山、庞明广“在寒冷的季节里,愿你被温暖以待”——每当看到朋友圈里的这条祝福,记者不禁会联想到生活在云南哀牢山深处的苦聪人。  这是一个曾被世界遗忘的部落。60多年前,他们在深山老林过着“野人”般的生活,直到解放军和民族工作队找到他们。  这是一个所谓的“最后的原始部落”。它从原始社会末期一步过渡到社会主义,在60年间实现了从茹毛饮血到融入现代生活的惊人一跃。  “不让一个兄弟民族掉队!”“一个都不能少!”今天的苦聪人,正紧跟着中华民族实现全面建成小康社会的步伐前进。  出山记  峰峦起伏,云雾缭绕。站在自家二楼客厅窗前,80岁的苦聪人李窝则陷入沉思。  远山是他曾经的“家”。他的祖先作为古时氐羌的一支,从西北迁徙到哀牢山,已逾千年。  “那些草窝棚早就烂掉了吧?”老人喃喃地说。  他的祖辈从没离开过山林。苦聪人的生活,正如歌谣所传唱的那样:“树叶做衣裳,兽肉野草当食粮,芭蕉叶是苦聪人的屋顶,麂子的脚印是苦聪人的大路……”  “山上冷啊!”李窝则说,“我父亲有一套破衣服,那是他用猎物和山下的傣族人换来的。”  哀牢山确实寒冷。就算在盛夏时节,记者大白天爬上普洱市镇沅彝族哈尼族拉祜族自治县的千家寨,还是被山风吹得浑身寒彻。苦聪人身上的兽皮、芭蕉叶,怎能抵挡夜晚和冬季的酷寒?用树枝和芭蕉叶搭起的窝棚,又怎能抗住四面透风?  李窝则青少年时代的记忆,除了寒冷,还有饥饿,而且越饿越觉得冷。山林里的苦聪人一到下雨,一家人就要担心火堆被浇灭;族里有人生了孩子,只能把芭蕉叶烤烤,赶紧把婴儿裹起来。苦聪人也能在山坡上种点玉米,但刀耕火种,“种一山坡,收一箩箩”。  漂泊不定、啼饥号寒。历经千年的遁迹山林,让苦聪人害怕与山外接触,成了神秘的“野人”。  新中国成立后,党和政府没有忘记苦聪人。当得知山上还有人生活时,一支支解放军和民族工作队开始进山寻找。1959年,新华社记者黄昌禄的长篇通讯《苦聪人有了太阳》,真实记录了当年寻访的艰难。“进林的第四天,忽然看见一个头发披到肩上、脸孔黝黑的人,身上挂了几条烂布筋筋。他们欢喜地大叫起来:"老乡,老乡!"哪晓得这人听见喊声,掉头拼命就跑……”  工作队每次进山,都带上衣服、盐巴和粮食。几经努力、几番接触,苦聪人感受到工作队与土匪、土司不同,戒备心慢慢放松了。“他们每次来,都和我们同吃同住,还给我发烟。”李窝则说。  在工作队的耐心劝说下,苦聪人陆续搬出老林。  从“野人”变身“主人”,苦聪人的命运发生历史性转折。当地政府举行重大活动时,苦聪人代表受邀站上了主席台。苦聪大寨的村干部庙初沙还被邀请到北京参加国庆庆典。  今年67岁的庙正昌,是金平苗族瑶族傣族自治县者米乡顶青村委会地棚村小组的村民。他至今珍藏着父亲庙初沙当年去北京、东北等地参观学习的照片。“父亲回来后,兴奋了很长时间。他召集苦聪人开会,激动地说"我们也要社会主义!"  金平县志记载:至1963年,共3739名苦聪人搬出山林。政府发给他们耕牛、铁农具、铁锅、餐具、种子、口粮。工作队员手把手教他们生产、生活技能,哈尼族、傣族群众帮助他们建房盖屋,同时让出部分水田。  “谁愿意一辈子住在深山老林?苦聪人世世代代受苦,直到共产党来了,我们才算见到了太阳!”李窝则说。  黄昌禄动情地写道:“为了找寻一个被旧时代遗弃了的人口很少很少的兄弟民族,我们的党和人民政府先后花了五年时间,付出了多么大的代价……”  苦聪人目前有3万多人,主要居住在云南省北至镇沅县、南到金平县等地的哀牢山区。20世纪80年代中期,他们被认定为拉祜族的一个支系。  定居记  “干!干!”苦聪汉子李发财举起酒杯,一饮而尽。  看着新建的两层楼房,李发财略有醉意,也难抑得意。他向前来贺喜的族人一一敬酒。  这几年,李发财种了几十亩橡胶,还和妻子外出打工。有了钱后,在政府投入近7万元建起的安居房上,加盖了第二层。  1992年,他家刚从金平县苦聪大寨搬到地棚村小组时,住的是茅草房,现在终于住进楼房。夫妻二人都有智能手机,出门办事骑上了摩托车。虽然已经49岁,但前几天,他特意把头发染成淡棕色,为显时髦。  “以后不搬家了!”李发财对记者说。  地棚村小组坐落在树林茂密的山坡上,顺着硬化水泥路,一排排二层小楼整齐排开,村里还修了小广场、篮球场。家家户户都有电视机、冰箱等电器,有的村民还买了轿车。像李发财一样,56户苦聪人都是搬迁来的。  从沿袭千年的游猎生活到定居,这个转变苦聪人用了二三十年。  出山后,因不习惯山下的气候和生活习惯,苦聪人曾几度重回老林。政府又一次次派人进山劝导,并为他们重新定居提供支持、发展产业,才慢慢把他们稳住。  金平县政府办公室主任李云的曾祖父能开硬弩,在苦聪人中甚有威望。“虽然1957年我曾祖父就带着大家定居半山腰,但气候燥热,不少人得了病零基础英语学习_包装资讯网,他只好带着族人回归老林。”李云说,后来经工作组三番五火车撞火车_客服职责网次做工作,老人才勉强答应搬到通风条件更好、气候稍微温凉的地方。  学会种植养殖更是一大挑战。政府动员河坝地区的哈尼族、傣族群众把土地分给苦聪兄弟;不会种粮,甚至没见过耕牛,傣族同胞就来教他们耕田插秧。  苦聪人还要学习现代生活,比如洗脸刷牙、洗衣叠被、使用厕所等。20世纪90年代,曾在金平县者米乡担任苦聪人帮扶工作队队长的杨志华有项任务,就是说服苦聪人家修厕所。“当时是旱厕,现在许多人家都用上冲水厕所了。”杨志华说。  贫困有时就像衣服上的顽渍,很难涤除——苦聪人虽然走出森林,但直到20世纪末,许多人仍住着茅草房、杈杈房,贫困面广,贫困程度深。  改革开放激活全中国,为国家扶贫攻坚积累了雄厚的物质基础,苦聪人迎来了命运的又一次历史性转折。  党中央始终牵挂着苦聪山寨,帮扶地区一直情系民族同胞,特别是党的十八大以来,脱贫攻坚战在哀牢山深处打响。各级各方纷纷出巨资解决苦聪人吃饭难、上学难、行路难、住房难、饮水难、看病难等问题,推进产业开发扶贫。  芭蕉摇曳、鸡犬相闻。镇沅县城郊的山坳间,一个苦聪新寨透过一丛丛婀娜的金竹林映入眼帘。  这个名为复兴村的寨子,是国家投入1200万元兴建的。今年47岁的王应,2006年和苦聪乡亲一起,从几个老寨搬迁到这个海拔较低、土地肥沃的新家园,一共200户。  “那天,我们是空手来的。”王应说,政府给每户分了带院子的砖瓦房,1.5亩耕地和4亩林地,还准备好了棉被、衣柜、米、油等生活用品。  王应开始种水稻,自己解决温饱,后来改种果树。夫妻二人还学会了手艺,王应平时帮人盖房子,并兼任山林管护员,媳妇在县城当厨师,很快实现了稳定脱贫。“我们村除了1户缺少劳动力的,其他都脱贫了。”  前几年,党中央吹响打赢打好脱贫攻坚战的冲锋号,在哀牢山激起阵阵回响。一个个新寨陆续投用,一个个产业接连投产,一个个苦聪人不再苦等苦熬……  今日苦聪山寨,基本用上了沼气和电灶,竖起了路灯;通了4G信号,普及了智能手机;住上了砖混楼房,种起了香蕉、澳洲坚果,养起了牛羊……  金平县地棚村的广场上,一幅墙画令记者印象深刻——一半是身披兽皮的苦聪人,在原始森林里钻木取火、采集狩猎,另一半是衣着光鲜的苦聪人,骑着摩托车、开着小轿车行驶在宽阔的马路上。  镇沅县居住着约1.5万名苦聪人。这个国家级贫困县有望近期脱贫摘帽,这里的苦聪人也将彻底告别绝对贫困!  兴商记  天刚泛白,金平县者米乡金竹观巢_刘子俊网寨村村民李深圳市房屋编码查询_建信货币基金网明勒就背上背篓,和姐妹们说说笑笑,一同到乡上赶集。  “快来看看啊!山里的芭蕉花、草果、芋头,船运网_4月开什么花网纯生态食品……”已经60岁了,李明勒的嗓音仍然清脆。  说起叫卖,对苦聪人来说,可不是件容易的事。  当年,苦聪人想把猎获的野兽背到山下坝区交换,方式是把物品放在路边,而自己躲进树丛,等着村里人拿食盐、铁器、旧衣服来换,多少不论。等人家走远后,苦聪人才敢现身。“我们苦聪人胆小着哩。”李明勒笑道。  苦聪人过去缺少商品概念,学会做买卖不过十几、二十几年的事。  “直到20世纪八九喜气洋洋猪八戒电视剧_电地暖每平米多少钱网十年代,我们还习惯以物易物。”镇沅县九甲镇和平村麦子山小组的孙少荣说,当时苦聪人去镇上赶集,都是背着玉米去换酒,或者拿个鸡蛋换一场录像看。  “苦聪人过去谁家有吃的,大家都有份,财产观念不牢固,也影响了生产积极性。”当时的云南省民委民族工作队队长胡忠文说。  哀牢山再高,挡不住改革开放的春风。现如今,苦聪人当街卖特产、开超市、上网卖货、到外地打工、刷微信用支付宝等已成寻常。  胡忠文经常深入苦聪村寨。他介绍说,20世纪末,他看到苦聪同胞的目光是呆滞的、无奈的,现在完全不一样了。  如今,一些头脑灵活的苦聪人勇闯商海,有些人当上了“老总”。40出头的熊开明,十几年前搬迁到复兴村,当时全家四口只带来两口锅,仅仅两年后,他家就开起了村里第一家小超市。后来他把地租了出去,办起了电子商务服务站。政府为他家拉了网线,安装了电脑,他妻子专门到县城参加了政府免费网购培训班。  “现在村民都来我家网购。”熊开明说,“下一步,我要把山里的土鸡、土猪卖到全国去。”  他还是昆明一家饲料公司在镇沅县的销售总代理,管着30多个销售点。“每个月都要开车去昆明开会,忙得很!”  还有人把茶叶生意做到了国外。镇沅县者东镇樟盆村村民李永春带领村里200多户茶农成立了茶叶合作社,今年销售收入已有300多万元。他对茶园进行了绿色食品、有机食品认证,经常到全国各地跑展会、找销路。现在,合作社的普洱茶卖到了上海、福建、重庆等地,红茶远销俄罗斯。  巍巍哀牢山,无数个像熊开明、李永春这样的苦聪人开始自主掌控命运,用勤劳和智慧开创与祖辈迥异的生活。  追梦记  王生云有一双塑料凉鞋,一直舍不得扔。这是他人生的第一双鞋子,从初中到大学一直用。  今年7月,他从北大毕业,拿到了博士学位,是镇沅苦聪人中的第一位北大学生,也是他们村里第一位博士。  而仅仅60多年前,苦聪人还在结绳记事。在镇沅县者东镇木厂村,老人们至今连什么是大学都搞不清楚。王生云能有出息很不容易,他决定回云南工作,帮助更多苦聪人实现梦想。  “以前苦聪人很自卑,见到生人连招呼都不敢打。现在年轻一代开放了,知道要有自己的梦想和追求。”王生云说。  云南省在实施精准扶贫工作中,重点开展了“直过民族”能力素质提升工程,帮助苦聪人等人口较少民族培养出更多的大学生、干部等。  教育事关民族的未来。云南省逐步在人口较少民族和“直过民族”聚居区实行从学前教育到高中阶段的14年免费教育。同时,各级政府通过设立双语幼儿园、民族学校、民族班等措施,加快少数民族人才培养步伐。  镇沅县者东镇党委书记刀忠福说,现在条件好多了,上学不花钱还有营养餐补助。“过去每到开学季,老师上门去动员苦聪家长让孩子上学,现在者东镇没有一个苦聪孩子辍学。”  地棚村的庙文学自己只有小学文化,但走进他家堂屋,一整面墙上挂满了女儿得的奖状。今年,他女儿考上了云南德宏的一所高校。庙文学为此决定放弃加盖一层新房的计划。“孩子想读书,我们就供到底!”  前不久,在中山大学读大一的李瑞华写了封家信:“得知咱镇沅县很快要脱贫摘帽了,心里十分激动。近十年来,家乡变化多大啊!我7岁那年村里通了电,10岁时家里有了电视机……考上大学后县民政局为我办了助学贷款……真想不到我的命运会发生如此大的转变。”  在镇沅县复兴村,政府投资建起了拉祜族(苦聪人)历史文化博物馆;县城的广场上,每当夜幕降临,都有苦聪人与兄弟民族群众一起跳起欢快的舞步。(完)

    

     (责任编辑: HN666)

阅读341 | 评论183 | 转发843 |
蚕丝被加盟
3月份节日

帝公龙07-15

饲养乌龟
绝色魔医

华龙马07-12

薇阁小电影
赛尔号pve

乙秉伯07-18

纪梵希小熊宝宝
原始轮回

文建乙杜07-15

恋足阁
春季养生小常识

华马道07-17

巴特纳
天津电缆桥架

伯石宗公07-16

台湾空难
评论热议
请登录后评论。

登录 注册

http://4xx9.com/out.php?id=7http://4xx9.com/out.php?id=5http://4xx9.com/out.php?id=2http://4xx9.com/articlelist-408.htmlhttp://4xx9.com/articlelist-387.htmlhttp://4xx9.com/articlelist-384.htmlhttp://4xx9.com/articlelist-382.htmlhttp://4xx9.com/articlelist-380.htmlhttp://4xx9.com/articlelist-377.htmlhttp://4xx9.com/articlelist-376.htmlhttp://4xx9.com/articlelist-375.htmlhttp://4xx9.com/articlelist-393.htmlhttp://4xx9.com/articlelist-359.htmlhttp://4xx9.com/articlelist-378.htmlhttp://4xx9.com/articlelist-389.htmlhttp://4xx9.com/articlelist-348.htmlhttp://4xx9.com/articlelist-368.htmlhttp://4xx9.com/articlelist-369.htmlhttp://4xx9.com/articlelist-371.htmlhttp://4xx9.com/articlelist-362.htmlhttp://4xx9.com/articlelist-357.htmlhttp://4xx9.com/articlelist-364.htmlhttp://4xx9.com/articlelist-391.htmlhttp://4xx9.com/articlelist-394.htmlhttp://4xx9.com/articlelist-421.htmlhttp://4xx9.com/articlelist-373.htmlhttp://4xx9.com/articlelist-372.htmlhttp://4xx9.com/articlelist-346.htmlhttp://4xx9.com/articlelist-365.htmlhttp://4xx9.com/articlelist-333.htmlhttp://4xx9.com/articlelist-436.htmlhttp://4xx9.com/articlelist-434.htmlhttp://4xx9.com/articlelist-431.htmlhttp://4xx9.com/articlelist-427.htmlhttp://4xx9.com/articlelist-407.htmlhttp://4xx9.com/articlelist-399.htmlhttp://4xx9.com/articlelist-306.htmlhttp://4xx9.com/baoma.htmlhttp://4xx9.com/out.php?id=5http://4xx9.com/articlelist-384.htmlhttp://4xx9.com/articlelist-393.htmlhttp://4xx9.com/articlelist-378.htmlhttp://4xx9.com/articlelist-389.htmlhttp://4xx9.com/articlelist-369.htmlhttp://4xx9.com/articlelist-362.htmlhttp://4xx9.com/articlelist-364.htmlhttp://4xx9.com/articlelist-391.htmlhttp://4xx9.com/articlelist-394.htmlhttp://4xx9.com/articlelist-365.htmlhttp://4xx9.com/articlelist-434.htmlhttps://www.chinactwh.com/72_72817/https://www.chinactwh.com/72_72805/https://www.chinactwh.com/xuanhuanxiaoshuo/https://www.chinactwh.com/kehuanxiaoshuo/https://www.chinactwh.com/72_72776/https://www.chinactwh.com/72_72754/https://www.chinactwh.com/72_72748/https://www.chinactwh.com/72_72743/https://www.chinactwh.com/72_72736/https://www.chinactwh.com/map/2.htmlhttps://bbs.mlxcchina.com/forum-99-1.htmlhttps://bbs.mlxcchina.com/forum-103-1.htmlhttps://bbs.mlxcchina.com/forum-104-1.htmlhttps://bbs.mlxcchina.com/forum-111-1.htmlhttps://bbs.mlxcchina.com/thread-521-1-1.htmlhttp://www.kxzc.cn/ymt/cdyg12jj3/a53831.htmlhttp://www.kxzc.cn/ymt/shylt1070/a48984.htmlhttp://www.kxzc.cn/ymt/HZYwhcb12/a48983.htmlhttp://www.kxzc.cn/ymt/daimule153/a48988.htmlhttp://www.kxzc.cn/ymt/JXJdjsz66/a49390.htmlhttp://www.kxzc.cn/ymt/xzcbxg1/a48661.htmlhttp://www.kxzc.cn/ymt/y4y4k4004/a48657.htmlhttp://www.kxzc.cn/ymt/DBjssw1/a49627.htmlhttp://www.ak186.com/cp/p985316.htmlhttp://www.ak186.com/cp/p985315.htmlhttp://www.ak186.com/cp/p984726.htmlhttp://www.ak186.com/cp/p985313.htmlhttp://www.kxzc.cn/ymt/sitemap.htmlhttp://www.pingyuol.com/images/index.php?Gd9e/qXpit2.htmlhttp://www.pingyuol.com/images/index.php?N7gy/GocvVJ.htmlhttp://www.jjyst.net/news/index.php?0e8H/mforhV.htmlhttp://www.qiuxfx.com/data/index.php?WvkU/rCstOp.htmlhttp://www.choosetech.com.cn/gy/index.php?Ncjw/b09B5T.htmlhttp://www.jjyst.net/news/index.php?WXFk/L8uNly.htmlhttp://www.pingyuol.com/images/index.php?ILS9/TSImdV.htmlhttp://www.qimiweb.com/article/779439.htmlhttp://www.weishangshijie.com/yangsheng/387266.htmlhttp://www.wuweiwang.cn/?p=108949http://chengdu.liebiao.com/meirongbaojian/534913112.htmlhttp://www.kxzc.cn/ymt/clist-2.htmlhttps://www.chinactwh.com/xuanhuanxiaoshuo/https://www.chinactwh.com/72_72776/https://www.chinactwh.com/72_72743/https://bbs.mlxcchina.com/thread-521-1-1.htmlhttp://www.kxzc.cn/ymt/daimule153/a48988.htmlhttp://www.qiuxfx.com/data/index.php?WvkU/rCstOp.htmlhttp://www.qimiweb.com/article/779439.htmlhttp://www.weishangshijie.com/yangsheng/387266.htmlhttp://chengdu.liebiao.com/meirongbaojian/534913112.htmlhttp://www.kxzc.cn/ymt/clist-2.html